На краю пропасти. Экзистенциальный риск и будущее человечества - Орд Тоби

129

По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов.

По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые расходы на мировом рынке технологий искусственного интеллекта (ИИ) в 2021 году составили 383 млрд долларов, а в 2022 году превысят 450 млрд долларов (см. https://www.dailycomm.ru/m/54690/, дата посещения 3 ноября 2022 г.). – Прим. науч. ред.]

130

В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a).

Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов.

Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018).

Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.

131

Robock, Oman & Stenchikov (2007) и Coupe et al. (2019).

132

King et al. (2015). Как мы увидим в главе 4, на основе имеющихся у нас сегодня научных знаний можно сделать вывод, что потепление на 6 °C вполне возможно.

133

Эти характеристики называются неисключительностью (поставщик не может сделать так, чтобы выгоду получали только оплатившие товар потребители) и неконкурентностью (потребление блага одним индивидом не ограничивает возможность его потребления для остальных). Как видно, большая часть товаров и услуг, предлагаемых рынком, обладают исключительностью и конкурентностью.

134

Cм. Bostrom (2013, p. 26). Оттолкнувшись от понятия трагедии общин, экономист Джонатан Уинер (2016) назвал такую ситуацию “трагедией редкостей”.

135

В долгосрочной перспективе рассматриваются лишь некоторые вопросы, например энергетическая политика, пенсионное обеспечение и реализация крупных инфраструктурных проектов. Как правило, они планируются на десять-двадцать лет вперед, но и это довольно краткий срок по меркам нашей книги.

136

Подробнее об эвристике и предубеждениях пишет Kahneman (2011). Глубокий анализ этих и других предубеждений, влияющих на общественную оценку редких катастрофических рисков, проводит Wiener (2016).

137

Мы действительно порой страдаем от одной из разновидностей этого эффекта, называемой потрясением массовостью, когда не можем осознать ущерб, причиняемый тысячам людей (и более), и считаем его даже менее значимым, чем такой же ущерб, причиняемый единственному идентифицируемому человеку. См. Slovic (2007).

138

Здесь я не учитываю религиозные дискуссии о конце света, которые, на мой взгляд, сильно отличаются от обсуждения натуралистических причин гибели человечества.

139

Russell (1945). В середине своего эссе Рассел отмечает, что только что узнал о бомбардировке Нагасаки – скорее всего, это было утром 9 августа 1945 года: “Пока я писал эти строки, выяснилось, что вторую бомбу сбросили на Нагасаки. Будущее человеческого рода как никогда безрадостно. У человечества два ясно очерченных пути: либо мы все погибнем, либо нам придется обзавестись хотя бы зачатками здравого смысла. Если мы хотим предотвратить полную катастрофу, нужно перестроить наше политическое мышление”.

140

“Бюллетень” существует по сей день и давно делает основной акцент на дискуссиях о риске вымирания. В последние годы его редакторы расширили фокус и теперь рассматривают не только ядерный риск, но и целый диапазон угроз будущему человечества, включая изменение климата, биологическое оружие и неконтролируемый искусственный интеллект.

141

В манифесте Рассела – Эйнштейна, составленном в 1955 году, говорится (Russell, 2002): “Поэтому вот вопрос, который мы ставим перед вами, – вопрос суровый, ужасный и неизбежный: должны мы уничтожить человеческий род или человечество откажется от войн? […] перед вами опасность всеобщей гибели”.

Эйнштейн подписал его незадолго до своей смерти в 1955 году, и Рассел рассказывает об этом (2009, p. 547): “Разумеется, я отправил манифест Эйнштейну на одобрение, но еще не знал, какое впечатление он произвел на него и согласится ли он его подписать. Пока мы летели из Рима в Париж, где должны были состояться дальнейшие заседания Ассоциации мирового правительства, пилот сообщил о смерти Эйнштейна. Я был опустошен – и не только по очевидным причинам, но и потому, что собственный план казался мне провальным без его поддержки. Однако, добравшись до своей парижской гостиницы, я обнаружил там письмо от него, в котором он согласился подписать манифест. Таким стал один из последних поступков в его общественной жизни”.

142

В личном письме Эйзенхауэр (1956) рассматривал эту угрозу и ее последствия для высшей стратегии: “Рано или поздно мы достигнем момента, когда обе стороны поймут, что любое обострение противоречий вне зависимости от фактора внезапности приведет к взаимному и полному уничтожению, и тогда, возможно, нам хватит ума встретиться за столом переговоров и осознать, что эпоха вооружения подошла к концу, а человечеству остается либо действовать дальше в соответствии с этой истиной, либо умереть”.

Выступая в ООН, Кеннеди (1961) сказал: “Ядерная катастрофа, распространяемая ветрами, и водами, и страхом, вполне способна без разбору поглотить великих и малых, богатых и бедных, ответственных и безответственных. Человечество должно положить конец войне – иначе война положит конец человечеству… Сегодня каждый житель этой планеты должен задумываться о дне, когда эта планета может стать непригодной для жизни. Каждый мужчина, каждая женщина и каждый ребенок живут под дамокловым мечом, и меч этот удерживают тончайшие нити, которые могут в любой момент порваться из за случайности, ошибки или безумия. Нам нужно поставить крест на орудиях войны, пока они не поставили крест на нас”.