В 1942 году Айзек Азимов опубликовал рассказ «Runaround», содержащий ставшие культовыми «Три закона робототехники». На первом месте: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».
Перенесемся в август 2017 года: более 100 экспертов по ИИ во главе с СпейсИкс основатель Илон Маск подписали открытое письмо Конвенция Организации Объединенных Наций о конкретных видах обычного оружия, вызывая обеспокоенность по поводу вооруженного ИИ. «Смертельное автономное оружие грозит стать третьей революцией в военном деле», — утверждали они. «После разработки они позволят вести вооруженный конфликт в большем масштабе, чем когда-либо, и в более короткие сроки, чем люди могут понять».
Эти опасения могут показаться из области научной фантастики, но смертоносные автономные системы вооружения (LAWS), получившие название «роботы-убийцы», уже доступны и используются сегодня. В демилитаризованной зоне между Северной и Южной Кореей, например, сторожевая пушка Samsung SGR-A1 сканирует горизонт в поисках нарушителей. В России разрабатываются беспилотные и автономные вооружения, такие как семитонная
Соратник танк робот.
(Вверху: турель Samsung SGR-A1. Источник: Википедия/MarkBlackUltor)
На данный момент автономные системы и редки, и дороги. Однако по мере совершенствования производственных технологий и снижения производственных затрат автономное вооружение может стать более важной частью того, как мы обеспечиваем безопасность. Есть те, кто утверждает, что это действительно может спасти жизнь.
«Лучше потерять дрон, чем потерять человека»
«Мы можем сократить количество жертв в ходе конфликтов», — объясняет доктор Питер Дж. Бентли, почетный профессор Университетского колледжа Лондона. «Лучше потерять дрон, чем потерять человека». Проще говоря, какой бы ни была стоимость автономной системы вооружения, она никогда не будет соответствовать стоимости человеческой жизни. Более того, если человек-солдат убит или захвачен в плен, это имеет политические последствия, в то время как потерявшийся робот вряд ли сдастся под пытками.
Автономные системы также несут в себе потенциал быть гораздо более точными и контролируемыми, чем бомбардировки в предыдущих конфликтах, когда целые города были разрушены. «Более умное оружие может обеспечить гораздо более точные и целенаправленные ответные действия вместо беспорядочных бомбардировок исторических конфликтов», — говорит Бентли.
Но не все согласны с тем, что эти преимущества перевешивают проблемы.
Смотрите связанные
Поскольку потеря автоматизированного дрона лучше, чем потеря человека, это может снизить порог войны. «Гораздо проще отправить автономную систему вооружения во враждебную зону для выполнения задания, чем отправить реальных людей, которые, если попадут быть захваченным или убитым, может иметь политические последствия для правительства, которое провоцирует акцию», — говорит профессор Дж. Марк Бишоп, директор Вольфрамовый центр интеллектуальной аналитики данных у Голдсмитс. Тот факт, что робот более одноразовый, может означать, что страны с большей вероятностью рискуют применить силу.
Существует также проблема, что LAWS не может быть уязвим для взлома злоумышленниками. Например, были случаи, когда дроны подделывались (скармливались ложной информации) для посадки. В 2011 году утверждалось, что американский беспилотник-разведчик был вынужден приземлиться в Иране. «В августе 2017 года Америка запретила использование дронов DJI из-за угрозы безопасности», — отмечает Бишоп, имея в виду запрет армии США на беспилотники китайского производителя над неуказанными рисками кибербезопасности.
Сложные военные игры
Хотя системы на основе ИИ могут в некоторых случаях превосходить человеческую точность, это не обязательно делает их неизменно точными. В области искусственного интеллекта произошли невероятные события, но, как правило, в областях, которые изначально упорядочены и структурированы. К сожалению, в жизни все не так. Много говорилось о недавнем успехи игроков с искусственным интеллектом в го, например, где ИИ обыграл действующего чемпиона по го среди людей в серии матчей. Однако, ИИ тоже не справился в сложной стратегической игре Стар Крафт.
(Вверху: StarCraft 2. Источник: Близзард)
ИИ более эффективен в структурированных играх, таких как го, где можно сделать ограниченное количество ходов. В случаях, когда переменных больше, ИИ теряют свою эффективность. Это потому, что им не хватает контекстного принятия решений. Например, было время, когда суицидальный робот-охранник утонул в декоративном пруду. Судя по всему, алгоритм не смог обнаружить неровную поверхность. Годом ранее другому роботу-охраннику удалось сбить малыша. Реальный мир хаотичен, на что ИИ часто не может реагировать.
«Меня особенно беспокоят непредвиденные последствия относительно глупого ИИ»
«Меня особенно беспокоят непредвиденные последствия относительно глупого ИИ, — говорит Бишоп. «В 2011 году два ИИ-бота попали в ценовая война над книгой, Создание мухи Питера Лоуренса, и они предложили эту книгу более чем за 23 000 000 долларов. Этого бы никогда не случилось с человеком в петле». Хотя автоматизированные системы могут распознавать число, они не могут оценить значение суммы. А теперь представьте, если бы это были две автоматические системы вооружения, конкурирующие друг с другом.
Мы также должны рассмотреть вопрос о том, что происходит, когда технология автономного оружия распространяется в нашем обществе. Уже были случаи, когда коммерческие беспилотники использовались для контрабанды нелегальной контрабанды. в тюрьмы. Также был случай, когда коммерческий дрон был оснащен заряженным огнестрельным оружием которые можно было бы уволить дистанционно. Существует опасность того, что, если LAWS получат более широкое распространение, они могут быть узурпированы и использованы преступниками или террористическими организациями.
«Под контролем человека»
В то время как британская армия в настоящее время изучает возможности автономных систем, таких как использование беспилотных автомобилей в снабжении. конвоев, Минобороны заявило, что не намерено разрабатывать или приобретать полностью автономные вооружения системы.
По словам Минобороны, существует «ограниченное количество» защитных систем, которые могут работать автоматически, но в них всегда участвует человек при настройке оперативных параметров. «Правильно, что нашим оружием управляют реальные люди, способные принимать сложные решения и даже по мере того как они становятся все более высокотехнологичными, они всегда будут находиться под контролем человека», — заявил представитель министерства обороны США. представитель.
Тем не менее существует реальная опасность того, что мы можем двигаться к гонке вооружений ИИ. В 2015 году ряд ведущих специалистов по ИИ представили Открой письмо в Международная совместная конференция по искусственному интеллекту, предупреждая, что перспектива широкомасштабной войны с использованием ИИ вполне реальна. «Начинать гонку вооружений с искусственным интеллектом — плохая идея, и ее следует предотвратить путем запрета наступательного автономного оружия, находящегося вне значимого человеческого контроля», — заключили они.
Несмотря на повышенную точность и время отклика автономных систем вооружения, им не хватает контекстуального принятия решений и способностей дедуктивного мышления, присущих их аналогам-людям. Они могли бы уменьшить количество жертв, но также есть шанс, что они могут сделать войну более опасной, чем сейчас, особенно если эта технология попадет не в те руки.
