Российская Академия Наук - Алексей Турчин

1. Может ли новая технология применяться для уничтожения людей или приводить к ней?

2. Если да, то каким образом она может выйти из-под контроля?

3. Может ли она распространиться по всей планете таким образом, чтобы воздействовать на каждого человека?

4. Может ли это произойти настолько быстро, что мы не успеем этому противостоять?

5. Как она может взаимодействовать с другими технологиями, усиливая при этом свой риск?

6. Насколько легко будет построить защиту от опасностей этой технологии?

7. Насколько точными и достоверными могут быть наши предсказания о рисках этой технологии?

Способы возникновения

Опасный фактор, угрожающий глобальной катастрофой, может возникнуть следующим образом:

А) Случайное природное возникновение. Например, подлёт астероида или извержение сверхвулканов.

Б) Создание человеком. В этом случае, скорее всего, речь идёт о некой исследовательской лаборатории. Это создание может быть или случайным, или сознательным. Возможна и комбинация того и другого – когда нечто, что должно было иметь ограниченный радиус поражения (или вообще рассматривалось как безопасное и полезное), приобрело всемирный радиус поражения. (Примеры: Изначально ядерное оружие рассматривалось как оружие локального действия, однако потом возникли представления, что оно может угрожать всей земной цивилизации; ИИ, который запрограммирован быть дружественным и любить людей, может проявить такую «Дружественность», как «медвежья услуга».)

Выход из точки и начало распространения

Очевидно, что это происходит или по команде некого человека, или случайно. Сразу следует сказать, что возможно совмещение этих сценариев: человек отдаёт некую команду, полный смысл которой не понимает, или она выполняется неправильно. Или некий человек со стороны совершает террористический акт, приводящий к разрушению лаборатории, в которой находится супервирус. Точка, в которой находится опасное изделие – это или лаборатория, где его создали, и тогда речь скорее идёт о случайном инциденте, или стартовая площадка, если эта технология превращена в некое изделии, которое стало оружием. Так же эта точка может быть где-то на пространственно-временном пути от лаборатории до стартовой площадки – на полигоне, на транспорте, на производстве. При этом важно отметить существенную разницу между мотивами того, кто создавал оружие судного дня, и того, кто затем решил его применить. Например, атомную бомбу создавали для защиты от иностранного агрессора, а террористы могут её захватить для требования отделения неких территорий. Такой двухфазовый целевой сценарий может быть вероятнее однофазового. Виды выхода из точки:

1. Утечка. Утечка начинается тихо и незаметно, без чьей-либо воли. Это относится к ситуациям, вроде утечки опасного вируса, которую нельзя заметить до того, как будут заболевшие снаружи. Утечка опасного химического вещества или ядерных материалов будет сразу заметна, и, скорее всего, будет сопровождаться взрывом.

2. Прорыв. Это силовой прорыв чего-то, что было заперто, но хотело вырваться наружу. Может относиться только к ИИ или генетически модифицированным живым существам с зачатками интеллекта.

3. Взрыв – катастрофический сценарий происходит в самой точке, распространяются его последствия. Скорее всего, это относится к опасным физическим экспериментам.

4. Запуск – кто-то принимает решение о распространении опасного агента или применении оружия судного дня.

Очевидно, что возможны некоторые комбинации этих базовых сценариев. Например, взрыв лаборатории, приводящий к утечке опасного вируса.

Распространение важнее разрушения

Анализируя любое явление или изобретение в качестве возможного фактора глобального риска, нам следует уделять больше внимания тому, может ли этот фактор за конечное время воздействовать на абсолютно всех людей, чем тому, может ли он убивать людей или нет. Для того чтобы некоторый фактор стал глобальным риском, есть два необходимых условия:

А) он убивает каждого человека, на которого воздействует

Б) он действует на всех людей за конечное время (За время, меньшее, чем способность людей к самовоспроизводству.)

Однако если выполнения первого условия достичь относительно легко, так как существует бесконечное число способов причинения смерти, и они всё время на кого-то действуют, то второе условие – гораздо более редкое. Поэтому, как только мы обнаруживаем даже безобидный фактор, способный действовать на всех без исключения людей, это должно нас обеспокоить больше, чем обнаружение некого крайне опасного фактора, который действует только на некоторых. Потому что любой универсальный фактор может стать носителем для некого опасного воздействия. Например, как только мы осознаём, что Солнце освещает каждого человека на Земле, мы можем задаться вопросом – а не может ли с Солнцем случиться чего-то такого, что будет воздействовать на каждого? Тоже касается атмосферы Земли, её коры, и особенно космоса, который окружает всю Землю, а также глобальных информационных сетей.

Способ распространения

Собственно, именно способность к всемирному распространению делает оружие сверхоружием. Эта всемирность означает не только всю поверхность земного шара, но и способность проникать через все укрытия и средства защиты, а также скорость этого процесса, которая делает невозможным противостоять ему с помощью новых открытий. (Скажем, оледенение может быть всемирным, но, скорее всего, будет достаточно медленным, чтобы к нему можно было приспособиться.) Способы и факторы, влияющие на способность агента к распространению повсюду таковы:

1) По ветру в атмосфере; отдельно надо выделять быстрое движение верхних слоёв атмосферы (где скорости могут быть 100 м/с, а значит, время всемирного распространения – несколько дней), а также склонность вещества выпадать в необратимые осадки, что уменьшает его количество.

2) Агенты, распространяющиеся своим ходом – бактерии, самонацеливающие нанороботы, ракеты.

3) От человека к человеку – вирусы.

4) С помощью специальных распылителей. Например, можно представить себе следующий катастрофический сценарий: на низкой полярной орбите летает спутник и непрерывно сбрасывает капсулы с радиоактивным веществом или другим опасным реагентом. За несколько дней он может пройти над всеми точками земного шара.

5) Взрыв – сам создаёт огромное движение. Ударная волна помогает протолкнуть агент во все щели.

6) Сетевое распространение. Так мог бы распространяться ИИ по Интернету.

7) Смешанные способы. Например, на начальном этапе взрыв бомбы распыляет радиоактивные вещества, а потом их разносит ветром. Или некую плесень переносит ветер, а на местах она размножается. Понятно, что смешанные способы распространения гораздо опаснее.

8) Агенты, обладающие элементами разума, чтобы обходить препятствия (компьютерные вирусы, ИИ, микророботы, агрессивные животные).

9) Внезапность и скрытность распространения помогает агенту проникнуть повсюду.

10) Высокая способность к переносу, «липучесть» и мелкодисперсность (как у лунной пыли).

11) Способность саморазножаться, как в природе, так и на человеке или на промежуточных носителях.

12) Многофакторность – если имеется достаточно много разнородных агентов, например, при мультипандемии.

13) Существенным в распространении является концентрация. Чем выше градиент концентрации, тем больше способность реагента проникать «во все щели». Иначе говоря, если концентрация в атмосфере составляет 1 смертельный уровень, то всегда найдутся участки, где из-за разных флюктуаций этот уровень будет значительно ниже, и люди там выживут, даже без всяких бункеров. Но если концентрация очень велика, то помогут только полностью герметичные, заранее оборудованные бункеры. Концентрация также увеличивает скорость распространения.

14) Затем важна длительность действия агента. Коротко действующий агент (гамма-всплеск) может опалить значительную часть биосферы, но всегда найдутся убежища, на которые он не подействовал. Однако длительное заражение, например, кобальтом-60, делает невозможным выживание в небольших убежищах.

15) Наконец, надо учесть лёгкость фильтрации и дезактивации – чем легче фильтрация воздуха и дезактивация выходивших на поверхность людей, тем безопаснее агент. Биологические агенты можно было легко стерилизовать в системах вентиляции, но выходы на поверхность были бы исключены, так как человека не стерилизуешь.

Способ причинения смерти

Основной элемент глобальной катастрофы, который мы называем «агент», может вообще не убивать людей, а только разъединять их и лишать способности к размножению, как например, супернаркотик, или вирус, стерилизующий всех людей. Или загнать их всех в бункеры, где они обречены на деградацию.