Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

III. Боевые автономные роботизированные системы и защита жизни

…

26. Обществам, располагающим современной технологией, такая технология позволяет увеличить дистанцию между пользователями оружейных систем и смертоносной силой, которую они в себе несут. Например, БПЛА, обычно называемые «беспилотниками», позволяют тем, кто контролирует применение такой смертоносной силы, не присутствовать физически при их использовании, а приводить их в действие, находясь за компьютером вдалеке от места их применения и оставаться вдали от линии огня.

27. Боевые автономные роботизированные системы (БАРС), если они войдут в арсеналы государств, добавят новое измерение такой дистанци-онности в том смысле, что решения о выборе цели смогут приниматься самими роботами. Помимо физической отстраненности от кинетического действия таких систем человек будет также непричастен к принятию решений о нанесении удара и их исполнению.

28. Робототехническая революция рассматривается как следующая крупная революция в военной сфере, равная по своему значению изобретению пороха и созданию ядерного оружия[4]. Однако в одном важном отношении робототехническая революция отличается от этих более ранних революций: ведь развертывание БАРС повлечет за собой не просто качественное усовершенствование используемых систем оружия, но и приведет к изменению идентичности тех, кто их применяет. Перспектива появления БАРС будет стирать различие между вооружениями и воинами, поскольку такие системы будут автономно принимать решения о своем использовании.

29. Официальные заявления правительств стран, обладающих потенциалом для производства БАРС, свидетельствуют о том, что в настоящее время об их использовании в вооруженном конфликте или при иных обстоятельствах даже и не помышля-ют[5]. Хотя, возможно, это и так, следует вспомнить о том, что самолеты и беспилотники сначала использовались в вооруженных конфликтах только в разведывательных целях, а их наступательное использование исключалось ввиду потенциально нежелательных последствий[6]. Последующий опыт показывает, что когда имеется технология, позволяющая, как считается, получить превосходство над противником, первоначальные соображения отбрасываются в сторону. С другой стороны, военные технологии легко переносятся в гражданскую сферу. Если считать, что международно-правовую нормативную базу следует укреплять, чтобы противостоять давлению будущего, то это обязательно надо делать уже сейчас, пока для этого есть возможность.

30. Одна из самых сложных проблем, решить которую пытаются правовые, моральные и религиозные кодексы, заключается в отношении к убийству человека человеком. Перспектива такого будущего, когда полностью автономные роботы будут в состоянии решать вопросы жизни и смерти, ставит дополнительно целый ряд беспокоящих вопросов. Как будет показано ниже, появление столь мощных и в то же время вызывающих противоречия новых систем оружия потенциально может создать новые угрозы для права на жизнь. Это может также породить международный раскол и ослабить роль и верховенство международного права и тем самым подрывать систему международной безопасности[7]. Появление БАРС требует от всех сторон – государств, международных организаций и международных и национальных организаций гражданского общества – необходимости рассмотрения всех последствий следования по этому пути.

31. Некоторые авторы выдвигают тот довод, что роботы никогда не смогут отвечать требованиям международного гуманитарного права (МГП) или международного права прав человека (МППЧ) и что, даже если и смогли бы, роботов принципиально нельзя наделять способностью решать вопрос о том, кто будет жить, а кто должен погибнуть. Эти критики требуют полного запрещения их разработки, производства и применения[8]. По мнению других авторов, такой технологический прогресс – если его удерживать в определенных рамках – представляет собой законные достижения в военной сфере, которые в некоторых отношениях могут даже содействовать обеспечению более гуманного характера вооруженного конфликта и спасению человеческой жизни у всех сторон кон-фликта[9]. Согласно такому доводу полный отказ от такой технологии может сводиться к ненадлежащей защите жизни как таковой.

32. Вместе с тем широко признается, что существует необходимость проявлять осмотрительность и контролировать в той или иной форме использование государствами такой технологии сверх и помимо того, что предусмотрено уже действующими общими стандартами, предписанными нормами международного права. Обозреватели согласны с тем, что для выработки надлежащего подхода к БАРС требуется проведение международной дискуссии.

33. Как и в случае любой технологии, революционизирующей применение смертоносной силы, может существовать недостаточно знаний относительно связанных с такой технологией потенциальных рисков, пока эта технология не разработана, что затрудняет формулирование надлежащей ответной реакции; однако впоследствии наличие таких систем и могущество влиятельных заинтересованных кругов могут исключить возможность принятия мер, направленных на достижение надлежащего контроля[10]. Эта задача дополнительно усложняется гонкой вооружений, которая может возникнуть в том случае, если только некоторые страны будут обладать подобной оружейной технологией. Лучшего момента, чем сегодня, чтобы заняться решением этих проблем, у нас, возможно, не будет. В отличие от других революционных изменений в военной сфере, когда серьезные размышления в основном начинались после возникновения новых методов и способов ведения войны, сегодня есть возможность коллективно сделать паузу и в упреждающем порядке рассмотреть риски, связанные с БАРС. Настоящий доклад представляет собой призыв взять такую паузу, чтобы можно было серьезно и основательно заняться этим вопросом.

34. Одна из причин неотложности рассмотрения данного вопроса заключается в том, что нынешние оценки будущей роли БАРС будут затрагивать объем финансовых, людских и иных ресурсов, направляемых на разработку этой технологии в течение следующих нескольких лет. Нынешние оценки – или их отсутствие – рискуют тем самым в определенном отношении стать самосбывающимися пророчествами.

35. Предыдущий Специальный докладчик рассматривал вопрос о БАРС в его докладе в 2010 году[11], призвав, в частности, созвать группу экспертов для рассмотрения вопроса о применении робототехники и соблюдении международных норм в сфере прав человека и норм гуманитарного права[12]. В настоящем докладе это предложение поддерживается и подчеркивается, и в нем содержится призыв к государствам объявить национальные моратории на некоторые виды работ, связанных с БАРС.

36. Как и в случае БПЛА и прицельного убийства, БАРС ставят вызывающие беспокойство вопросы, касающиеся защиты жизни в соответствии с системами МППЧ и МГП. Специальный докладчик напоминает о верховенстве не допускающего отступлений права на жизнь в соответствии как с договорным, так и с международным обычным правом[13]. Произвольное лишение жизни является противоправным как в мирное время, так и в условиях вооруженного конфликта.

А. Появление БАРС

1. Определения

37. Хотя определения основных терминов могут различаться, нижеследующее объяснение может служить отправным пунктом[14].

38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч»[15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.

39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения»[16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».