Российская Академия Наук - Алексей Турчин

С другой стороны, победа разумной силы над людьми означает, что некоторая разумная сила в природе остаётся (если только она не кончает собой после того), а, следовательно, окончательного исчезновения разума на Земле не происходит. И раз некий разум, причём превосходящий человеческий, остаётся, то он может и вернуть людей у жизни. Однако есть разумные силы, принципиально отличные от человеческого сознания, например, эволюция. Эволюция гораздо «умнее» человека (которого она породила), но бесконечно проигрывает по скорости. (Но не везде, например естественный отбор микроорганизмов, устойчивых к антибиотикам, происходит со скоростью, сопоставимой с разработкой новых антибиотиков.) Если один из вариантов будущего ИИ будет использовать принципы эволюции, но гораздо быстрее, то он может достичь «победы» над людьми как более эффективный решатель любых задач, однако при этом не быть сознающим существом в нашем понимании. Разработки такого ИИ небезуспешно ведутся в направлении, называемом «генетические алгоритмы».

Машина судного дня

Соберём в отдельную категорию все варианты «машины судного дня», которую может создать наиболее злонамеренная группа людей. Возможно, термин восходит к фильму С.Кубрика «Доктор Стрейнджлав». (Сюжет его вкратце таков: «Русские» создают «Машину судного дня», которая взрывает множество кобальтовых бомб, достаточное для полного заражения всего мира, если на СССР нападут. В ходе внутренней заварушки в США мятежный сумасшедший генерал наносит удар по СССР, не зная о машине судного дня. В результате машина запускается. Русский посол говорит: «И эту машину отключить нельзя, иначе бы в ней не было смысла». Др. Стрейнджлав замечает: «Но какой смысл было держать эту машину в секрете?» Русский посол отвечает: «Мы собирались объявить о ней в ближайший понедельник». То есть машина, которая должна была резко снизить риск какой-либо войны на Земле, в действительности приводит к её началу. Интересно, что Дж. Лесли пишет в своей книге «Конец света. Наука и этика человеческого вымирания», что на самом деле было бы неплохо такую машину иметь, так как если бы она правильно применялась, то она в сумме бы снизила риск ядерной войны – примерно как сейчас это делает доктрина взаимного гарантированного уничтожения). Хотя основная идея машины состоит в той форме шантажа, которая подразумевает, что машина судного дня никогда не будет применена, сам факт её создания создаёт вероятность её применения.

Кроме того, имеются исторические примеры бессмысленного истребления людей – обстрел гитлеровцами Лондона Фау-2, поджигание скважин в Кувейте. Психологический пример – подрыв себя гранатой при взятии в плен.

Отнюдь не любой вариант глобальной катастрофы годится как машина судного дня. Это должен быть процесс, который по решению некой группы людей может быть запущен в строго определённый момент времени и вести к глобальной катастрофе со значительной вероятностью, близкой к 100 %, по крайней мере, с точки зрения разработчиков устройства. Машина судного дня также должна быть неуязвима к попыткам предотвратить её применение, к несанкционированному применению и должна быть возможность продемонстрировать реалистичность её применения, что нужно шантажистам. (Сейчас в качестве машины судного дня функционально выступает обладание хоть каким-то ядерным оружием, хотя одна атомная бомба весь мир не уничтожит. Например, такова сейчас роль ядерной бомбы в руках Северной Кореи – она хорошо спрятана, но наличие её продемонстрировано.) Вот, вероятно неполный, список возможных машин судного дня:

• Взрыв водородной бомбы

а) в супервулкане

Б) в каменноугольном пласте

В) в ядерном реакторе

Г) в слое газовых гидратов в океане, с расчётом на цепную реакцию дегазации.

• Создание водородной сверхбомбы стационарного типа.

• Взрыв кобальтовых зарядов, запуск реактора-чёртовой трубки.

• Сведение астероида с орбиты.

• Накопление массы антиматерии.

• Проплавление коры Земли с помощью жидкого ядерного реактора по типу капли.

• Распыление спор антракса в атмосфере, высвобождение большого количества разных вирусов.

• Слив диоксина в океан

• Выпускание генетически модифицированных производителей токсинов и вирусов (диоксиновая плесень, чумная вошь)

• Распространение сотен миллиардов микророботов, атакующих всё живое.

• Уничтожение озонового слоя с помощью некого катализатора.

• Сочетание этих факторов.

3. Многофакторные сценарии

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н. Бострома и в книге Дж. Лесли, с незначительными отличиями. Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой – нанороботы, а третий вымрет от голода?

Интеграция различных технологий, создающие ситуации риска

Сам факт быстрого развития сильных технологий создаёт зону риска. Технологии имеют тенденцию помогать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno и означает процесс слияния нанотехнологий, биотехнологий, компьютерных технологий и исследований человеческого мозга. Это слияние происходит за счёт обмена методами и результатами, а также реализации проектов, объединяющих элементы этих технологий, например, когда оболочки вирусов используются в качестве элементов для нанороботов , или с помощью генной инженерии выводятся мыши с флуоресцентными маркерами в нейронах мозга для изучения процессов мышления. Конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. Базой для NBIC технологий является миниатрюризация. Конвергенция NBIC технологий ведёт к некому пику, которым, вероятно, является сильный искусственный интеллект.

Подобная интеграция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)

Часто имеющиеся прогнозы будущего и фантастика описывают будущее как настоящие плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.

При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический кризис – война – применение биологического оружия.

Парные сценарии

Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, то есть разные варианты взаимоусиления основных факторов, взятых парами, - при этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования. При этом дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. Здесь каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.