На краю пропасти. Экзистенциальный риск и будущее человечества - Орд Тоби

Дать точный ответ на этот вопрос крайне сложно. Но некоторые эвристические принципы помогут нам ограничить количество вариантов. Один из них таков: чем важнее проблема, чем более она податлива и чем сильнее ею пренебрегают, тем более она затратно-эффективна, а следовательно, тем выше ее приоритет[492]. Важность проблемы определяется тем, насколько высокую ценность имеет ее решение. В случае с экзистенциальным риском мы можем, как правило, приравнять важность к тому вкладу, который он вносит в общий риск. Податливость – мера того, насколько просто решить проблему. Чтобы точно определить это, можно спросить, какая доля риска была бы устранена, если бы мы удвоили ресурсы, которые в настоящее время брошены на работу с ним. Наконец, проблемой пренебрегают, если на нее направляется мало ресурсов. Здесь действует закон убывающей отдачи: как правило, дополнительные ресурсы приносят тем больше пользы, чем меньше ресурсов было затрачено на решение проблемы раньше[493].

Мой коллега из Института будущего человечества Оуэн Коттон-Баррат продемонстрировал, что, когда эти условия должным образом сформулированы, затратную эффективность работы над конкретной проблемой можно выразить очень простой формулой[494]:

Затратная эффективность = Важность × Податливость × Пренебрежение.

Хотя очень сложно назвать точные цифры для любого из этих показателей, эта модель все же позволяет сделать полезные выводы. Так, она показывает, почему в идеальном портфеле, как правило, ресурсы распределяются между несколькими рисками, а не направляются на один: чем больше мы вкладываем в конкретный риск, тем меньше мы пренебрегаем им, и привлечение дополнительных ресурсов на борьбу с ним перестает быть приоритетным. Через некоторое время оказывается, что дополнительные ресурсы выгоднее направлять на работу с другим риском.

Кроме того, эта модель позволяет нам понять, как находить компромиссные соотношения этих показателей. Например, при выборе между двумя рисками, вероятности которых различаются в пять раз, эта разница в вероятности того, что они наступят, может быть превзойдена десятикратным увеличением объема финансирования. Модель предлагает руководствоваться таким общим принципом:

Пропорциональность

Когда набор рисков обладает одинаковой податливостью (или когда мы не знаем, какой из них податливее), в идеальном глобальном портфеле ресурсы распределяются между всеми рисками пропорционально их вкладу в общий риск[495].

Но это не значит, что вам лично следует распределять свои ресурсы между ними пропорционально их вероятностям. Индивиду или группе следует вкладывать свои ресурсы так, чтобы способствовать приведению мирового портфеля в идеальное состояние. Часто это предполагает необходимость направить все силы на один риск – особенно учитывая, насколько ценна возможность посвятить ему свое безраздельное внимание.

Этот анализ дает нам отправную точку: предварительную оценку ценности выделения новых ресурсов на работу с риском. Но часто встречаются ресурсы, которые гораздо ценнее в применении к одному риску, чем к другому. Это особенно верно в отношении людей. Биологу гораздо логичнее работать с риском пандемий искусственного происхождения, чем переучиваться для работы с риском ИИ. Получается, что в идеальном портфеле учитываются сравнительные преимущества людей. Кроме того, порой возникают подкрепленные ресурсами возможности помочь с конкретным риском. Каждый из этих показателей (соответствие профилю и подкрепленность ресурсами) может легко изменить ценность возможности в десять (и более) раз.

Рассмотрим еще три эвристических принципа для расстановки приоритетов: фокус на рисках, которые наступают рано, внезапно и резко. Эти категории не конкурируют с важностью, податливостью и пренебрежением, а проливают на них новый свет.

Допустим, один риск наступает рано, а другой – поздно. При прочих равных в приоритете должен быть тот риск, который наступает рано[496]. Одна причина в том, что с рисками, которые наступают позже, работать можно и позже, но с теми, что наступают раньше, это не получится. Другая – в том, что на работу с рисками, наступающими позже, вероятно, будет выделено больше ресурсов, поскольку человечество продолжит наращивать свою мощь и все больше людей будет понимать, в какой ситуации мы оказались. В результате рисками, наступающими позже, будут меньше пренебрегать. Наконец, нам понятнее, что делать с рисками, которые вот-вот наступят, в то время как с рисками, наступающими позже, мы вполне можем выбрать неправильный путь. Непредвиденные события в области технологий и политики в период до наступления риска могут изменить его природу, предложить более эффективные способы работы с ним или устранить его вообще, и тогда мы зря потратим свои силы на ранних этапах. Таким образом, риски, наступающие позже, в текущий момент характеризуются меньшей податливостью, чем риски, наступающие раньше.

Что, если один риск наступает внезапно, а другой – постепенно? При прочих равных в приоритете должен быть тот риск, который наступает внезапно. Риск, наступающий постепенно, с большей вероятностью привлечет внимание общественности и традиционных структур управления. В результате в долгосрочной перспективе им, скорее всего, будут меньше пренебрегать.

Некоторые экзистенциальные риски грозят нам катастрофами разных масштабов. В пандемиях могут гибнуть тысячи, миллионы или миллиарды человек, а диаметр астероидов варьируется от метров до километров. В каждом случае риски, судя по всему, распределяются по степенному закону, где катастрофы становятся значительно более редкими по мере увеличения масштабов. Это значит, что, скорее всего, мы столкнемся с пандемией или астероидом, которые убьют одну сотую населения Земли, прежде, чем с пандемией или астероидом, которые убьют одну десятую населения, а катастрофа, которая уничтожит одну десятую населения, будет предшествовать той, в которой погибнут почти все люди[497]. Другие риски, например риск, сопряженный с неконтролируемым искусственным интеллектом, могут, напротив, угрожать полным исчезновением человечества. Давайте называть небольшую катастрофу “предупредительным выстрелом”, если она с большой долей вероятности может подтолкнуть человечество к серьезным полезным действиям ради устранения будущего риска такого типа. При прочих равных в приоритете должны быть внезапные риски, то есть те, перед которыми вряд ли прозвучат предупредительные выстрелы, поскольку эти риски с большей вероятностью не будут получать должного внимания в долгосрочной перспективе[498].

Хотя я представил этот анализ как разбор того, какие риски должны рассматриваться в приоритетном порядке, те же принципы можно применить при расстановке приоритетов среди разных факторов риска и факторов безопасности. Кроме того, они могут помочь установить приоритетный порядок применения различных способов защиты нашего потенциала в долгосрочной перспективе, таких как содействие укоренению норм, работа в существующих институтах и создание новых. Но главное, что описанные принципы можно использовать при расстановке приоритетов не только в рамках этих сфер, но и между ними, поскольку все показатели выражаются в общих единицах степени снижения общего экзистенциального риска.

В этой книге мы рассмотрели немало подходов к снижению экзистенциального риска. Самый очевидный из них – непосредственная работа с конкретным риском, например с риском ядерной войны или пандемии искусственного происхождения. Но воздействовать на риски можно и опосредованно: работать с факторами риска, такими как война великих держав, или с факторами безопасности, такими как создание нового международного института для снижения экзистенциального риска. Возможно, существуют и более опосредованные методы. Надо полагать, что риск будет ниже в период стабильного экономического роста, чем в период кризиса, вызванного глубокой рецессией. Кроме того, он снизится, если население будет лучше образовано и лучше информировано.