На краю пропасти. Экзистенциальный риск и будущее человечества - Орд Тоби

Тот факт, что “большой риск” может быть набором меньших рисков, связанных друг с другом, открывает любопытные возможности. Допустим, например, что риск в этом веке составляет 10 %, а если его устранить, то весь будущий риск составит 90 %. Если бы у вас была возможность в некоторой степени снизить либо весь ближайший риск, либо весь последующий риск, вы столкнулись бы с этим эффектом, и это позволяет сделать вывод, что предотвращение более позднего риска улучшит ситуацию в девять раз. (При этом работа над будущим риском также, как правило, сопряжена с издержками, которые могут превысить это улучшение, поскольку следует ожидать, что в работе над ним может быть задействовано больше людей.)

662

В первом случае общий 91 %-ный экзистенциальный риск снизится на 0,9 %, до 90,1 %. Во втором случае – на 0,1 %, до 90,9 %. Этот эффект удивителен, поскольку при снижении 90 %-ного риска до 89 % в относительном отношении этот риск также меняется меньше. Чтобы интуитивно понять это, стоит помнить, что значимо здесь относительное изменение вероятности того, что катастрофа не произойдет.

663

Эти эффекты наблюдаются и вне зависимости от того, имеем ли мы дело с несколькими крупными рисками или со множеством мелких рисков: например, они возникают, если мы сталкиваемся со 100 независимыми рисками, каждый из которых имеет вероятность 2 %.

664

При этом не требуется считать, что века после катастрофы обладают нулевой ценностью, – достаточно допустить, что их ценность одинакова и ниже ценности веков до катастрофы.

665

Можно также сказать, что ожидаемая ценность нашего будущего при сохранении рисков равна V. Если устранить вероятность экзистенциальной катастрофы в одном веке, мы фактически даром получим безопасный век, вслед за которым начнется будущее, обладающее изначальной ценностью. Следовательно, ценность, которую мы добавляем, – это ценность века для человечества. Или же мы можем спросить, сколько лет потребуется, чтобы снова нарастить тот риск, который мы устранили. В этой примитивной модели ценность устранения риска равна ценности соответствующего количества лет.

Обратите внимание, что, говоря о ценности века для человечества, я имею в виду его собственную ценность. Поскольку действия человечества сегодня могут сильно повлиять на собственную ценность будущих веков, значительную долю взвешенной ценности века составляет его инструментальная ценность. Например, то, в какой степени мы углубим свои знания, усовершенствуем технологии, улучшим институты и сохраним природные ресурсы, которые передадим следующим поколениям. А также, разумеется, насколько мы повысим или снизим общий экзистенциальный риск (хотя в примитивной модели инструментальная ценность снижения нашего экзистенциального риска в лучшем случае равняется собственной ценности века).

666

Чтобы эффект был значимым, коэффициент повышения ценности не должен всегда быть выше уровня риска. Это хорошо, поскольку имеющиеся у нас данные позволяют предположить, что в чрезвычайно долгосрочной перспективе уровень риска будет примерно постоянным (из за небольшого количества неустранимого риска), а это значит, что в ином случае, чтобы компенсировать его, ценность должна была бы возрастать по экспоненте. Но кажется весьма вероятным, что ценность, которую мы можем создать, имея заданное количество ресурсов, в конце концов достигнет предела, а скорость света ограничивает темпы обретения новых ресурсов кубической величиной.

667

Можно оспорить это утверждение, сделав гипотетическое предположение: эти выводы полезны, но другие люди в будущем все равно пришли бы к ним, поэтому никакого гипотетического влияния на будущее они не оказывают. Этот аргумент не лишен достоверности. Хотя информация из этой книги все равно окажет некоторое гипотетическое влияние на будущее, это влияние будет оказано посредством развития диалога таким образом, чтобы люди будущего, способные сделать следующие шаги, могли отталкиваться от того, что было сделано в прошлом. Но предельная ценность этих следующих шагов может оказаться убывающей. Следовательно, если опираться на гипотетическое предположение, ценность текущей работы с будущим риском будет ниже, чем кажется, и, возможно, станет убывать со временем.

Но это не влияет на мои аргументы. Дело в том, что, если мы предполагаем, что другие люди в будущем будут проводить важную дополнительную работу с экзистенциальным риском, это позволяет сделать вывод, что риск в грядущие века не будет постоянным, а будет снижаться. Как бы то ни было, существует подобный эффект, который мы вскоре увидим.

668

Ю Кванг Нг (Yew-Kwang Ng, 2016) также заметил этот неочевидный эффект.

669

Этот термин предложил Бустрём (Bostrom, 2013). Дэвид Дойч (2011) убедительно отстаивает противоположную точку зрения.

Мы также можем достичь некоторой социальной или политической зрелости, когда перестанем заигрывать с такими радикально новыми системами, как тоталитарные и коммунистические эксперименты XX века, и сформируем стабильное общество, которое больше никогда не сможет погрязнуть в тирании.

670

Прирост ценности в общем зависит от отношения риска в следующем веке к долгосрочному вековому риску. Например, если вероятность экзистенциальной катастрофы в текущем столетии составляет 1 к 10, но стремительно снижается до уровня фонового природного риска, то есть менее 1 к 200 000 в столетие, то ценность устранения риска в текущем столетии в сравнении с примитивной моделью возрастает в 20 000 раз.

671

На математическом языке можно сказать, что вероятности ценности будущего распределяются асимметрично (хотя в логарифмическом пространстве они, вероятно, распределяются симметрично). Ожидаемая ценность будущего соответствует среднему этого распределения, а оно может быть значительно выше медианы.

672

Договор продлен до 2026 года. – Прим. науч. ред.

673

Были и другие попытки расширить и интерполировать шкалу, но всякий раз в них задействовались произвольные или проблематичные элементы. Несколько человек добавляли уровень K4 для “вселенной”, но применяли его ко всей Вселенной или к наблюдаемой Вселенной, хотя ни один из этих вариантов здесь не подходит. Одним из первых шкалу Кардашёва продолжил Карл Саган, но у него все уровни стали различаться ровно на 10 порядков. Поскольку на самом деле разница между ними составляет около 9 и 11 порядков, разорвалась связь уровней Кардашёва со структурой космоса, а это огромная потеря. Я полагаю, что лучше проводить интерполяцию между двумя целыми уровнями Кардашёва так, чтобы каждый порядок позволял нам проходить примерно одну девятую пути от K0 к K1, но одну одиннадцатую пути от K2 к K3. Саган также добавил уровень K0, но у него он был задан произвольным образом, чтобы его размер был на 10 порядков меньше, чем размер K1, а потому в этом случае отрезки пути от K0 к K1 не имели никакой реальной привязки.

674

Это оценка порядка величины: в момент зарождения письменности в Древней Месопотамии проживало около 1 млн человек, которые потребляли около 100 Вт энергии, заключенной в пище, и расходовали около 100 Вт в форме работы и теплоты. В реальности цифра может быть несколько больше в силу неточности оценок или если их скот потреблял гораздо больше пищи, чем люди.

675