Российская Академия Наук - Алексей Турчин

14. Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002.

15. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.

16. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.

17. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.

18. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.

19. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html

20. Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmological Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.

21. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.

22. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.

23. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.

24. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.

25. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.

26. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.

27. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.

28. Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Barbara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.

29. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.

30. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:

31. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.

32. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.

33. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.

34. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.

35. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.

36. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.

37. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.

38. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.

39. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.

40. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.

41. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).

42. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.

43. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

44. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.

45. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:

46. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp

47. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.

48. Shute, N. (1989). On the Beach: Ballentine Books.

49. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.

50. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005

51. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.

52. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.

53. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.

54. Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. – NY, 2000.

55. Warwick, K. (1997). March of the Machines. London: Century.

56. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.

57. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)

58. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

59. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

60. Yudkowsky, E. (2001). Creating Friendly AI 1.0. URL: http://www.singinst.org/upload/CFAI.html.

Часть 2. Методология анализа.

1.Общие замечания. Ошибка как интеллектуальная катастрофа.

Основной частью методологии анализа представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках или факторов, ведущих к неверным оценкам и затем к неверным решениям. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.

Наши рассуждения о глобальных рисках подвержены тем или иным систематическим ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школьной скамьи связан с нашим представлением об «ошибках». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков. Поэтому мы должны гораздо ответственнее подойти к задаче безошибочного мышления о них. При этом важно помнить, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.

Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедиться в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, третьи ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайне маловероятно. Исследователь глобальных рисков должен знать об этих подводных камнях. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков» в упоминавшемся уже сборнике «Риски глобальной катастрофы». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь когнитивных искажений. Однако многие описания факторов ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти .

Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.

Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждой отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (См. например, мою статью «Природные катастрофы и антропный принцип» , где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)

Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.