Российская Академия Наук - Алексей Турчин

• 15% - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ обладает способностью отыскать и воздействовать на всех людей без исключения – в большей мере, чем другие факторы.

• 15% - системный кризис с многократным применением биологического и ядерного оружия.

• 14% - нечто неизвестное.

• 1% - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.

• 0,1% – естественные природные катастрофы,

• 0,9% – неудачные физические эксперименты

• 1% - серая слизь – нанотехнологическая катастрофа

• 1% - атака через SETI

• 1% - ядерное оружие судного дня

• 1% - прочие.

Вторые 50% приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:

• 15% – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.

• 10% – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, зоопарк, безработные у телевизора. Власть переходит к ИИ и машинам.

• 5% – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается в качестве наилучшего варианта традиционными футурологами.

• 20% – Откат на стадию постапоклиптического мира. Разные уровни деградации.

Теперь рассмотрим возможное влияние на эти цифры разных форм теоремы о конце света. Формула Готта, взятая в отношении всего числа людей на Земле, даёт не очень большие шансы вымирания в XXI веке – на уровне десяти процентов, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Однако если применить формулу Готта к моему рангу в множестве всех людей, которые знают о формуле Готта, то шансы выживания в XXI веке оказываются призрачными (если отождествлять завершение этого множества и человеческое вымирание). Вопрос о том, в какой мере мы имеем право использовать формулу Готта таким образом, остаётся открытым. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Дж. Лесли приводит следующий пример применения рассуждения Картера-Лесли в своей книге: априорную вероятность вымирания в ближайшее время в 1%, и разрыв между численностью человечества при «плохом» и при «хорошем» сценарии в тысячу раз. Тогда эти априорные 1% превращаются у него через формулу Байеса в апостериорные 50%. Однако если мы применим те же предположения к нашей априорной вероятности в 50%, то получим шансы вымирания в 99,9%.

Наконец, третий вариант теоремы о конце света в формулировке Бострома-Тегмарка, адаптированной мной к менее масштабным природным процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1%. Наихудшим (но совершенно не обязательным) проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны, которая бы снизила максимальную частоту этого события от одного события раз в несколько десятков лет, до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что здесь всё не так плохо.

Итак, непрямые способы оценки вероятности глобальной катастрофы или подтверждают оценку порядка 50% в XXI веке, или резко увеличивают её до 99% ¬– однако те варианты рассуждений, в которых она подскакивает, не обладают столько же высокой – 99% – степенью доказанности. Поэтому мы можем остановиться на суммарной оценке в «более, чем 50%».

Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её избегания. Это наводит на мысль, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Сэр Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и растёт. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое зависит от нас сейчас.

Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. (РФ объявила программу по развитию нанотехнологий. Значит, уже видно их оборонное значение и понятна возможность создания «серой слизи».) Понимание серьёзности рисков должно сплоить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы.

Анализ рисков глобальных катастроф даёт нам новую точку зрения на историю. Теперь мы можем оценивать режимы и политических деятелей не с точки зрения того, что хорошего они сделали для своей страны, а с той точки зрения, с которой видно, насколько эффективно они предотвращали глобальную катастрофу. С точки зрения будущих жителей XXII века будет важно не то, как хорошо или плохо мы жили, а насколько мы постарались, чтобы вообще дожить до будущего.

В заключение имеет смысл высказаться о принципиальной непредсказуемости глобальных катастроф. Мы не знаем, произойдёт ли глобальная катастрофа, и если да, то как и когда. Если бы мы могли это знать, то «заранее подстелили бы соломку». Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти), но у человека есть хотя бы пример других людей, который даёт статистическую модель того, что и с какой вероятностью может произойти. Наконец, хотя люди и не очень-то любят думать о смерти, но всё же время от времени каждый о ней думает и как-то учитывает в своих планах. Сценарии же человеческого вымирания практически вытеснены в общественное бессознательное. Глобальные катастрофы отгорожены от нас пеленой как технического незнания, связанной с нашим незнанием реальных орбит астероидов и тому подобного, так и психологической, связанной с нашей неспособностью и нежеланием их предсказывать и анализировать. Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – мы не знаем, возможен ли Искусственный интеллект, и в каких пределах, и мы не знаем, как правильно применять разные версии Теоремы о конце света, которые дают совершенно разные вероятностные оценки времени человеческого выживания.

Мы должны признать, что на каком-то уровне катастрофа уже произошла: окутывающая нас тьма непостижимости затмила ясный и понятный мир предсказуемого прошлого. Недаром одна из статей Ника Бострома называется: «Технологические революции: Этика и политика во тьме» . Нам потребуется собрать всю имеющуюся у нас ясность сознания, чтобы продолжить путь в будущее.

Литература:

1. Анисичкин В. О взрывах планет. //. Труды V Забабахинских чтений, Снежинск. 1998

2. Биндеман И. Тайная жизнь супервулканов //. В мире науки. N 10. 2006 (http://www.sciam.ru/2006/10/nauka1.shtml)

3. Воробьёв, Ю.Л, Малинецкий. Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.

4. Бобылов Ю.А, Генетическая бомба. Тайные сценарии биотерроризма. - Белые Альвы, 2006

5. Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985

6. Еськов К.Ю. История Земли и жизни на ней. – М., НЦ ЭНАС, 2004.

7. Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность космических миссий // 1999. Журнал технической физики, том 69, вып. 9.

8. Сорохтин О.Г., Ушаков С.А. Развитие Земли. - М: Изд-во МГУ, 2002.

9. Сывороткин Владимир Леонидович. Экологические аспекты дегазации Земли. - Диссертация на соискание степени доктора геологических наук, - М. 2001. – 302 С.

10. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002

11. Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира // 2004. Природа N 6.

12. Шкловский И.С. Звёзды. Их рождение, жизнь и смерть. - М., Наука, 1984.

13. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня? http://www.proza.ru/texts/2007/04/11-348.html )

14. Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002.

15. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.

16. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.

17. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.