Российская Академия Наук - Алексей Турчин

Всё как-нибудь обойдётся

Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Более продвинутой формой этой позиции является идея о решении проблем по мере их поступления. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: Анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.

Однако в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку мы не знаем, где искать, и поскольку риски могут стать актуальными быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.

Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Вероятность такого расклада невелика.

Деградация в устойчивое состояние

Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение.

Предотвращение одной катастрофы с помощью другой

Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:

1.Ядерная война останавливает развитие технологий вообще.

2.Тотальный ИИ предотвращает биотерроризм.

3.Биотерроризм делает невозможным развитие ИИ

4.Ядерная зима предотвращает глобальное потепление.

Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.

Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ. Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска.

Организации, ответственные за предотвращение катастрофы

Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте «Будущее человечества» Ника Бострома, есть гранты фонда Lifeboat foundation, есть исследования Е.Юдковски. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.) Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.

1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.

2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.

3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще.

4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап – это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие, и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» – явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.

5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется по-английски Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы – власть общества не велика. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению – это Lifeboat Foundation, Центр по ответственным Нанотехнологиям, Альянс по спасению цивилизации, SIAI. Эти организации обмениваются ссылками, ресурсами и сотрудниками. С другой стороны, практические влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранной разведкой. Наилучшим примером воздействия общества на правителей является чтение правителями книг. Президент Кеннеди избежал войны в ходе Карибского кризиса, в значительной мере потому что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К.Сагана и Н.Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.