Российская Академия Наук - Алексей Турчин

. (1)

Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц.

Бернулли предположил, что люди максимизируют не денежный выигрыш (чему соответствует формула (1), а ожидаемую полезность. Предложенная им функция полезности U(x) имеет вид логарифмической кривой:

. (2)

То есть, с ростом выигрыша полезность равных приращений падает.

Парадокс можно сформулировать и иным образом, имеющим непосредственное отношение к техногенному риску. Допустим, что мы располагаем экономически выгодной (если не учитывать ее влияния на среду обитания) технологией. Ликвидация последствий ее применения может обойтись в 2n единиц с вероятностью 1/2n. То есть математическое ожидание ущерба здесь также бесконечно. Сколько общество готово заплатить за то, чтобы отказаться от такой технологии? Какова должна быть разумная стратегия в том случае, если такая технология уже используется? В ряде случаев действия мирового сообщества парадоксальны – затраты на отказ от технологий, грозящих неприемлемым ущербом, оказываются, как и в Санкт-Петербургском парадоксе, весьма невелики».

Этот парадокс имеет прямой отношение к глобальным катастрофам, так как их возможный ущерб бесконечен. Следовательно, мы должны были бы соглашаться на любые действия, которые позволяют её избежать (см. принцип Максипок по Бострому).

26. Различие между опасностью и риском

Риск создаётся принимаемыми решениями, а опасности – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения о их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.

27. Систематическая ошибка, связанная с эгоцентричностью

Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации .

28. Систематическая ошибка, связанная с атрибуцией причины

В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация вымрет. Майкл Анисимов пишет: «Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестую против Буша» .

29. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей полагают нулевой

Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта (см. о ней подробнее в конце книги).

30. Упущение того, что безопасность системы определяется наиболее слабым её звеном

Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.

31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть

Однако часто эта логическая последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.

32. Невычислимость

Целый ряд принципиально важных для нас процессов настолько сложны, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.

• Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)

• Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).

• Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.

• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.

• Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)

• Ещё один вид невычислимости связан с возможностью самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой. Я (следуя логике с Дж.Сороса) полагаю, что любой прогноз о поведении некого рыночного индекса, если из этого прогноза можно извлечь прибыль, не работает, поскольку все участники игры не могут получить прибыль в игре с нулевой суммой. В силу этого данный прогноз может знать только меньшинство участников, а, следовательно, скорее всего, я не принадлежу к этому меньшинству. Следовательно, моё предположение о будущем поведении системы скорее ложно, чем истинно. Возражения здесь могут быть следующие: рынок – не игра с нулевой суммой (но он становится ей, если я хочу получить доход больший, чем минимально возможный – то есть полагающийся по базовой процентной ставке или по норме прибыли). Или если участники рынка не равны, и имеет место инсайдерская торговля (но в этом случае надо учитывать риск попасть в тюрьму за нарушение законов, который весьма перевешивает повышенную прибыльность инвестиций.) Поскольку в современном обществе действуют механизмы превращения любых параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.

• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне» о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные скереты.

Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.