На краю пропасти. Экзистенциальный риск и будущее человечества - Орд Тоби

385

DiEuliis, Carter & Gronvall (2017); IGSC (2018).

386

Часто аргументом против обязательного скрининга служит то, что он может открыть конкурентам доступ к интеллектуальной собственности в виде заказываемых последовательностей ДНК. Но у этой проблемы, по видимому, должно быть криптографическое решение (Esvelt, 2018).

Нам известно немало случаев, когда подобные системы защиты пользовательских продуктов подвергались взлому, но они тем не менее могут обеспечить определенный уровень безопасности, поскольку требуют от злоумышленников экспертизы не только в биологии, но и в компьютерных технологиях. Кроме того, они могут помочь “честным людям оставаться честными”, избавляя исследователей от искушения проводить эксперименты над контролируемыми патогенами.

387

Термин предложил Bostrom (2011b). Неформально их также называют “инфоопасностями”.

388

См. Bostrom, Douglas & Sandberg (2016), где авторы делают обзор этой проблемы, проводят ее формальный анализ и предлагают некоторые решения. В работе Lewis (2018) это понятие применяется к биотехнологическим информационным опасностям.

389

Эту ситуацию усугубляет дополнительная неопределенность в вопросе о размере выгоды и риска, поскольку из за нее распределение оценок чистой выгоды становится шире: самые оптимистичные прогнозы оказываются еще дальше от центральных оценок.

Я сказал, что достаточно одной чрезмерно оптимистичной оценки, но если ученому нужно, чтобы информация была опубликована в журнале, то оценок должно быть две – автора и редактора. Это подсказывает, что решать соответствующую проблему нужно на уровне редакторов журналов, где в процессе участвует меньше людей. Можно, как предлагается в Lewis (2018), обязать первый журнал, отклонивший статью из соображений безопасности, делиться своими опасениями с другими, чтобы автор статьи не принялся рассылать ее во все журналы в поисках того единственного, который слишком оптимистично оценит риск.

В Esvelt (2018) предлагается ввести предварительную регистрацию потенциально опасных исследований, чтобы открытые и широкие дискуссии по вопросам безопасности проходили еще до появления опасной информации.

390

В 1999 году Айман аз-Завахири (нынешний лидер “Аль-Каиды”) написал, что планирует приступить к исследованиям химического и биологического оружия: “Хотя они чрезвычайно опасны, мы узнали о них лишь тогда, когда противник привлек к ним наше внимание, многократно выражая беспокойство в связи с тем, что их разработка не представляет труда” (Wright, 2002).

391

Этим соглашением был Женевский протокол 1925 года, в котором был раздел, запрещавший подписавшим протокол государствам первыми применять бактериологическое оружие. Японцы подписали протокол лишь в 1970 году, но получили информацию из самого факта его существования (Harris, 2002, p. 18).

392

Lewis et al. (2019).

393

Так, я специально привел лишь достаточно широко известные примеры.

394

McCarthy et al. (1955). Основы ИИ были заложены еще до Дартмутской конференции, но лето 1956 года обычно считается моментом появления ИИ как области исследований.

395

Это называется парадоксом Моравека по имени пионера ИИ и робототехники Ханса Моравека, который в 1988 году написал: “Однако по мере появления все новых демонстрационных версий стало очевидно, что сравнительно легко вывести компьютер на уровень взрослого человека при решении задач в тестах на интеллект или при игре в шашки, но сложно или вовсе невозможно наделить его навыками годовалого ребенка в области восприятия и мобильности”.

396

Структура главным образом усовершенствовалась за счет появления сверточных нейронных сетей (СНС) и рекуррентных нейронных сетей (РНС). Обучение – за счет применения различных модификаций алгоритма стохастического градиентного спуска, таких как Adam и импульс Нестерова. Усовершенствования в сфере аппаратного обеспечения были спровоцированы переходом от центральных процессоров к графическим, а теперь – к более специализированным устройствам, таким как тензорные процессоры. Эти успехи подпитывали друг друга в рамках благотворного цикла: теперь, когда нейронные сети так хороши, имеет смысл собирать крупные базы данных для их обучения и разрабатывать специализированное аппаратное обеспечение для их работы, в результате чего все становится лучше, оправдывая всё новые инвестиции.

397

He et al. (2015).

398

Phillips et al. (2011); Ranjan et al. (2018).

399

Перевод (Hassan et al., 2018); создание фотографий (Karras et al., 2017); подражание голосу (Jia et al., 2018); беспилотные автомобили (Kocić, Jovicic & Drndarević, 2019); конструктор Lego (Haarnoja et al., 2018).

400

Bernstein & Roberts (1958); IBM (2011). На протяжении последних пятидесяти лет шахматные программы прибавляли примерно по 50 пунктов рейтинга Эло в год, причем примерно половину из этого им приносило усовершенствование алгоритма, а другую половину – усовершенствование оборудования (Grace, 2013).

401

Silver et al. (2018). Нужно осторожно относиться к таким цифрам и учитывать, какое оборудование использовалось. При обучении AlphaZero использовался гигантский объем вычислительной мощности (5000 тензорных процессоров), а значит, за указанные четыре часа она смогла смоделировать огромное количество партий в шахматы против других версий себя и таким образом нащупать наиболее выигрышную стратегию. Это важная оговорка при сравнении достижений AlphaZero с другими прорывами, поскольку программное обеспечение было усовершенствовано не так сильно, как кажется на первый взгляд. Но я думаю, что, оценивая риск, сопряженный с ИИ, важно знать, сколько времени система потратила на обучение, поскольку это показывает, как быстро ИИ-система может выйти из под контроля в реальном времени.

402

Strogatz (2018).

403

Возможно, AlphaZero даже превзошла тот уровень, который лучшие игроки в го считали идеальным. Принято думать, что для победы в партии, которую противник ведет идеально, лучшим игрокам нужна фора в три-четыре камня (Wilcox & Wilcox, 1996). Через 30 часов AlphaZero оказалась более чем на 700 пунктов рейтинга Эло выше лучшего из профессиональных игроков. Хотя сложно перевести фору в пункты рейтинга на таком исключительно высоком уровне игры, это примерно соответствует прогнозам для идеального ведения партии (Labelle, 2017). Было бы любопытно посмотреть, как AlphaZero играет с лучшими игроками, увеличивая фору, и понять, на сколько камней она опережает их в реальности.

404

Строго говоря, Кэ Цзе имел в виду версию AlphaGo Master, которая появилась раньше AlphaGo Zero (Wall Street Journal, 2017).

405

Прорывом стал алгоритм DQN (Mnih et al., 2015), в котором успешно соединились глубокое обучение и обучение с подкреплением. DQN продемонстрировал человеческий уровень в 29 из 49 игр Atari. Однако он не был в полной мере общим: как и при обучении AlphaZero, для каждой игры приходилось обучать отдельную копию сети. Впоследствии удалось обучить единую сеть играть во все игры на человеческом уровне и лучше, добившись среднего показателя в 60 % от человеческого уровня (Espeholt et al., 2018).