Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

79. Высказывается мысль о том, что ответственность за гражданский ущерб должна, по меньшей мере, возлагаться на разработчиков программы и производителей оборудования в соответствии со схемой, аналогичной обеспечению строгой ответственности за качество продукции. Однако действие национальных законов об ответственности за качество продукции применительно к робототехнике в основном не проверено[60]. В производстве БАРС непременно задействовано множество людей, и ни один человек в одиночку не будет, вероятно, в состоянии понять сложное взаимодействие составных элементов БАРС[61]. Сомнительно также, что возлагать бремя предъявления гражданских исков на жертвы было бы справедливым, поскольку они вынуждены будут предъявлять иски в иностранном государстве и нередко не будут иметь для этого средств.

80. Вопрос о юридической ответственности может иметь первостепенное значение. Если вменение ответственности каждому из указанных выше кандидатов в итоге будет сочтено неуместным или непрактичным, возникнет вакуум ответственности, гарантируя безнаказанность за любое применение БАРС. Если характер того или иного вида оружия не позволяет определить ответственность за последствия его применения, его использование как одиозного вида оружия должно считаться неэтичным и незаконным[62].

81. Можно рассмотреть ряд новаторских методов установления юридической ответственности. Одно из условий, которые могут предусматриваться в отношении применения БАРС, заключается в заблаговременном определении ответственно-сти[63]. Ввиду того, что технологии потенциально позволяют осуществлять более точный мониторинг и реконструкцию того, что происходило во время смертоносных операций, еще одним условием для их применения может являться установка на них записывающих устройств и обязательное рассмотрение ex post facto всей записи смертоносного применения оружия, независимо от статуса убитого человека[64]. Можно также рассмотреть вариант «разделения» ответственности между возможными кандидатами[65]. Кроме того, чтобы охватить случаи применения БАРС, может потребоваться внесение поправок в правила ответственности командования. В общем плане может потребоваться усиление акцента на ответственности государства в отличие от индивидуальной ответственности, если речь не идет о случаях использованиях таких систем негосударственными субъектами.

Е. Применение государствами БАРС при отсутствии вооруженного конфликта

82. Опыт применения БПЛА показал, что этот вид военной технологии легко использовать в ситуациях, не являющихся военными действиями на традиционном поле боя.

83. Одним примером ее применения в таких условиях, когда представления о поле боя расширяются и выводятся из контекста МГП, является ситуация выбора в качестве цели предполагаемых террористов, где бы в мире они ни находились, в том числе на территориях, где может не существовать вооруженного конфликта и где в этом случае применима система МППЧ. Опасность здесь заключается в том, что мир рассматривается в качестве единого, масштабного и вечного поля боя, а сила применяется без оглядки на пороговые требования. БАРС могут усугубить эти проблемы.

84. На внутреннем фронте БАРС могут применяться государствами для подавления внутренних врагов и устрашения населения страны, пресечения демонстраций и ведения «войны» с наркоторговлей. Роботы, как говорится, не ставят под сомнение решения своих командиров и не устраивают государственных переворотов[66].

85. Возможность применения боевой автономной робототехники во внутренних правоохранительных ситуациях порождает особую опасность произвольного лишения жизни ввиду того, что БАРС неизбежно будет трудно соблюдать более строгие требования, свойственные МППЧ.

F. Последствия для государств, не обладающих БАРС

86. В контексте обсуждения вопросов, касающихся БАРС, нередко говорят о «войне без рисков» и «войнах без людских потерь». Это, как представляется, наводит на мысль о том, что ценна жизнь только тех, кто обладает такой технологией, и это дает основание испытывать беспокойство, вызванное развертыванием этой технологии, а именно безразличием к жизни тех, кто такой технологией не обладает. БАРС создают в высшей степени асимметричную ситуацию, при которой роботов могут в некоторых случаях использовать против живых людей. БАРС смогут, вероятно, – по крайней мере, на первом этапе их существования – смешать риски, сопряженные с вооруженным конфликтом, и переносить их на участников боевых действий и гражданское население противоборствующей стороны.

87. Применение всеподавляющей силы может, как было доказано, быть контрпродуктивным – как, например, в контексте демонстраций, когда, как предупреждают психологи, это может вызывать эскалацию применения контрсилы[67]. В ситуациях военных действий отсутствие у государства, применяющего БАРС, законной человеческой цели на поля боя может выливаться в нападении на гражданское население как на «наилучшие возможные цели», и применение БАРС тем самым может стимулировать ответные действия, возмездие и терроризм[68].

88. Преимущества государств, обладающих БАРС, по сравнению с другими государствами необязательно будут иметь постоянный характер. Существует возможность распространения таких систем и обладания ими другими государствами, причем не только теми, которым первые передадут или продадут их. Другие государства, вероятно, будут разрабатывать свою собственную технологию боевой автономной робототехники, в частности с разной степенью программирования для соблюдения МГП и с потенциальными проблемами совместимости алгоритмов, если БАРС противоборствующих сторон будут противостоять друг другу. Существует также потенциальная опасность приобретения БАРС негосударственными субъектами, которые в меньшей степени будут склонны соблюдать режимы регулирования, обеспечивающие контроль и транспарентность.

G. Исключение человека из процесса принятия решений

89. Исходная посылка большинства правовых, моральных и иных кодексов заключается в том, что когда на карту поставлена жизнь человека или речь идет об иных серьезных последствиях решений для людей, полномочия по принятию решений должны осуществляться людьми. Согласно Гаагской конвенции (IV) любой комбатант должен находиться под командованием «лица, ответственного за своих подчиненных». Клаузулой Мартен-са, давней и имеющей обязательную силу нормой МГП, предусмотрено требование, касающееся применения в вооруженном конфликте «принципа человечности»[69]. Исключение человека из процесса принятия решений создает опасность лишения процесса принятия решений его «человечности».

90. По мнению философа Питера Асаро, в МГП, таким образом, содержится имплицитное требование относительно того, что решения о применении смертоносной силы должны приниматься человеком и что этот процесс не может делегироваться аппаратам. Согласно такой аргументации принятие решения о применении смертоносной силы не человеком является имманентно произвольным и как следствие любая гибель людей в этом случае является произвольным актом лишения жизни[70].

91. Рассмотрение вопроса о БАРС неразрывно связано с вопросом о роли технологии в современном мире. Хотя в современной жизни аппараты помогают принимать многие решения, они в основном используются только в тех случаях, когда есть необходимость обеспечить механическое наблюдение (например, в качестве судьи на линии в спортивных соревнованиях), а не в ситуациях, требующих вынесения ценностных суждений с далеко идущими последствиями (например, в процессе вынесения решений в ходе рассмотрения дел в суде). В качестве более общего доказательства важности прямого контакта между людьми можно сослаться на то, что в правовых системах во всем мире стараются избегать заочных судебных процессов. Разумеется, роботы уже в значительной мере затрагивают нашу жизнь, в том числе и своим воздействием на решения, касающиеся жизни и смерти. Роботизированная хирургия, например, является растущей отраслью медицины, и роботы все шире используются в операциях по спасению жизни после стихийных бедствий[71]. Однако ни в каком из этих случаев роботы не принимают решения, предполагающего убийство, и поэтому БАРС заключают в себе совершенно новую перспективу.

92. Даже если исходить из того, что БАРС – особенно когда они действуют бок о бок с человеком – могут соблюдать требования МПГ, и если можно доказать, что их применение в среднем и в совокупности будет спасать жизни, напрашивается вопрос, не порочно ли изначально оставлять за автономными машинами решение вопроса о том, кого и когда убивать. Озабоченности, изложенные в предшествующих пунктах, связаны прежде всего с защитой гражданского населения. Вопрос в данном случае заключается в том, является ли применение БАРС против кого-либо, включая солдат противника, в принципе приемлемым, поскольку это влечет за собой вынесение решения о применении смертоносной силы автоматизированными системами.