Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

3.1. Доводы критиков против полностью автономного оружия

«Роботы-убийцы» не смогут соблюдать международное гуманитарное право» – считают противники полностью автономного оружия.

Первоначальная оценка полностью автономного оружия показывает, что, похоже, роботы-убийцы будут неспособны соблюдать ключевые принципы международного гуманитарного права. Они будут неспособны следовать правилам гуманного ведения военных действий, различения (противника и мирных жителей), пропорциональности (применения оружия) и военной необходимости (применения оружия). Даже убежденные сторонники полностью автономного оружия признают, что проблема различения противника от гражданского лица является одной из нескольких «пугающих проблем».

3.1.1. Проблема различения

Правило различения (требует, чтобы солдат перед тем, как открыть огонь по цели, различил (определил) – это противник или мирный житель) является одним из самых больших препятствий для полностью автономного оружия. У полностью автономного оружия нет способности ощутить или интерпретировать различие между солдатами противника и гражданскими лицами, особенно в современной боевой окружающей обстановке.

Изменение характера вооруженного столкновения за прошлые несколько десятилетий (от войны между солдатами на поле боя – к асимметричным конфликтам), характеризуемого боями на городских улицах среди гражданского населения, сделало различение воюющих и невоюющих людей очень трудным. Государства, активно разрабатывающие автономное оружие (США, Израиль, европейские страны), воюют преимущественно с террористами, которые не носят униформы или знаков отличия. Вместо этого они стремятся быть как можно более похожими на гражданское население. Казалось бы, что робот может легко дать ответ ДА или НЕТ на вопрос с двойным ответом – действительно ли человек является противником? Но фактически полностью автономное оружие не сможет дать правильный ответ, если воюющие стороны не будут носить форму и/или знаков отличия (например, погоны). Различение гражданского лица и вооруженного террориста находится вне рамок машинного восприятия. В любом случае террористам было бы легко обмануть этих роботов, например, пряча оружие.

3.1.2. Проблема пропорциональности

Требование, чтобы применение оружия было пропорциональным (одно из самых сложных правил международного гуманитарного права) нуждается в человеческой оценке ситуации, что непосильно для полностью автономного оружия. Тест пропорциональности запрещает применение оружия, если ожидаемый вред гражданским лицам превышает ожидаемый эффект от его военного применения. Определение пропорциональности применения того или иного оружия зависит в большой степени от конкретной ситуации на поле боя. Юридически правильный ответ в одной ситуации может стать неверным даже при небольшом изменении фактов, лежащих в основе юридической оценки.

Очень маловероятно, что робот сможет анализировать огромное количество возможных сценариев, чтобы правильно интерпретировать ситуацию в режиме реального времени. Проблемы робота с анализом такого количества ситуаций из-за ограниченности вычислительной мощности компьютера и программного обеспечения вмешались бы в его способность правильно выполнить тест пропорциональности. Те, кто интерпретирует международное гуманитарное право в сложных и динамичных сценариях, призывают на помощь человеческое суждение, а не автоматическую способность принятия решения компьютером. Тест пропорциональности субъективен, учитывает довольно широкий спектр мнений и должен, прежде всего, быть вопросом здравого смысла и разума военных начальников.

Международные суды, вооруженные силы, например, приняли «стандарт разумного военачальника». Международный военный трибунал для бывшей Югославии, например, писал: «В определении, было ли применение оружия пропорционально, необходимо исследовать, может ли в сложившейся ситуации человек в условиях, когда вокруг совершаются массовые преступления, ожидать, что чрезмерные жертвы среди гражданского населения будут результатом применения оружия по его приказу». Тест на пропорциональность требует больше, чем балансирование количественных данных. И робот не может быть запрограммирован так, чтобы дублировать психологические процессы при принятии человеком решения (которые необходимы, чтобы оценить пропорциональность применения оружия).

Приведем примеры.

Сценарий, в котором полностью автономный самолет идентифицирует появившуюся важную цель (например, лидера бандформирования), иллюстрирует трудности, с которыми такие роботы могут столкнуться при применении теста пропорциональности. Самолет может правильно определить местонахождение вражеского лидера в населенном районе, но он должен будет оценить, будет ли законно стрелять в него. Во-первых, если такая цель находится в городе, то ситуация вокруг нее постоянно меняется. Например, школьный автобус может внезапно оказаться на линии прицеливания. Во-вторых, самолет должен взвесить ожидаемые преимущества уничтожения лидера против числа гражданских лиц, которые, как он ожидает, будут убиты. Каждый лидер может иметь различную ценность, и его ценность может изменяться в зависимости от ситуации в конфликте. Кроме того, люди лучше подходят для того, чтобы делать такие оценочные суждения.

3.1.3. Проблемы военной необходимости

Как и пропорциональность, военная необходимость требует субъективного анализа ситуации. Это позволяет вооруженным силам планировать военные действия, принимать во внимание практические требования военной ситуации в любой данный момент времени. Но военная необходимость ограничивается требованием «человечности». Один ученый описал военную необходимость как «контекстно-зависимое, основанное на ценности суждение командующего (в пределах определенных ограничений достоверности)». Идентификация, стал ли вражеский солдат «вне боя» (по-французски hors de combat), т. е. не способный или не желающий оказать сопротивление, требует человеческой оценки. В частности, полностью автономному роботу-часовому будет трудно принять решение – стрелять ли еще в упавшего нарушителя границы (в которого робот уже стрелял)?

3.1.4. Проблема отсутствия человеческих эмоций

Еще более серьезная проблема состоит в том, что полностью автономное оружие не обладает человеческими эмоциями (необходимыми для оценки намерений человека), которые являются ключевыми для различения цели. Если невозможно предположить, что все люди вокруг являются противниками (т. е. целями), тогда необходимо выяснить, кто противник, а кто нет. Один из способов определить, является ли человек противником, состоит в том, чтобы понять эмоциональное состояние человека. Но бывает огромное число обстоятельств, где применять оружие нет необходимости. Например, напуганная мать может бежать за своими двумя детьми и кричать на них, чтобы те прекратили играть с игрушечными пистолетами около (человека) солдата. Солдат может распознать страх матери, детскую игру и признать намерения детей безопасными. А полностью автономное оружие увидело бы, что к нему бегут два вооруженных человека и открыло бы по ним огонь.

Сторонники полностью автономного оружия предполагают, что отсутствие человеческих эмоций – главное его преимущество. Но они не рассматривают побочные эффекты применения такого оружия. Сторонники подчеркивают, например, что роботы неуязвимы для эмоциональных факторов, таких как страх и гнев, которые могут «омрачить» рассудок и привести к атаке на гражданских лиц. Они также считают, что роботы могут быть запрограммированы так, чтобы действовать без страха за собственную «жизнь», и поэтому могут пожертвовать собой.

Человеческие эмоции, однако, обеспечивают одну из лучших гарантий защиты против убийства гражданских лиц. И отсутствие эмоций может сделать убийство более легким. При обучении солдат (чтобы им было психологически проще уничтожать живую силу противника) им часто пытаются привить «психологию робота», когда то, что иначе казалось бы ужасным действием, может быть хладнокровно выполнено. Этот процесс уменьшения эмоциональной чувствительности может быть необходим, чтобы помочь солдатам выполнять боевые операции и справиться с ужасами войны. Но безотносительно военной подготовки солдаты сохраняют способность своей эмоциональной идентификации с гражданскими лицами. Это важная часть сочувствия, которое является главной в сострадании.

Роботы не могут идентифицировать себя с людьми, т. е. они неспособны испытывать сострадание (сильную проверку на готовность убить). Например, робот в зоне боевых действий мог бы выстрелить в ребенка, направляющего на него оружие. В отличие от робота, солдат-человек мог бы вспомнить своих детей, задержать открытие огня и найти более милосердное решение этой ситуации. Одно из самых больших ограничений для проявления жестокости во время войны всегда было естественное желание большинства людей не убивать. Этот естественный запрет так силен, что многие умерли бы сами, чем убили бы кого-то. Снятие этого запрета на убийство при помощи использования роботов устранило бы самое сильное психологическое и этическое ограничение на применение оружия во время войны. Война стала бы негуманно эффективной и не была бы ограничена естественным желанием солдат не убивать.