Российская Академия Наук - Алексей Турчин

Таким образом, этот ИИ кажется работающим правильно на стадии разработки, но создаёт катастрофические результаты, когда он становится умнее программистов(!)

Есть соблазн подумать: «Но наверняка ИИ будет знать, что это не то, что мы имеем в виду?» Но код не дан ИИ, чтобы он его просмотрел и вернул, если выяснится, что он работает неправильно. Код и есть ИИ. Возможно, приложив достаточно усилий и понимания, мы можем написать код, который следит, чтобы мы не написали неправильный код – легендарная DWIM-инструкция, которая среди программистов означает делай-то-что-я-имею-в-виду. (Do-What-I-Mean. (Raymond, 2003).) Но требуются усилия, чтобы описать механику работы DWIM, и нигде в предложении Хиббарда нет упоминаний о создании ИИ, который делает то, что мы имеем в виду, а не то, что мы говорим. Современные чипы не выполняют DWIM над своим кодом; это не автоматическое свойство. И если у вас проблемы с самим DWIM, вы пострадаете от последствий. Предположим, например, что DWIM был определён так, чтобы максимизировать удовлетворение программиста от своего кода; когда этот код запустится как сверхинтеллект, он может переписать мозги программиста, чтобы он был максимально удовлетворён этим кодом. Я не говорю, что это неизбежно; я только говорю, что Делай-то-что-я-имею-в-виду – это большая и не тривиальная техническая проблема на пути к Дружественному ИИ.

7. Темпы усиления интеллекта.

С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро. Очевидная причина подозревать такую возможность – это рекурсивное само-улучшение (Good, 1965). ИИ становится умнее, в том числе умнее в отношении написания внутренней когнитивной функции ИИ, так что ИИ может переписать свою существующую когнитивную функцию, чтобы она работала лучше. Это сделает ИИ ещё умнее, в том числе умнее в отношении задачи переделывания себя, так что он сделает ещё больше улучшений.

Люди по большому счёту не могут улучшать себя рекурсивно. В ограниченном объёме мы себя улучшаем: мы учимся, мы тренируемся, мы затачиваем свои навыки и знания. В некоторой степени эти самоулучшения улучшают нашу способность улучшаться. Новые открытия могут увеличить нашу способность делать дальнейшие открытия – в этом смысле знание питает само себя. Но есть более низкий уровень, которого мы даже не коснулись. Мы не переписываем человеческий мозг. Мозг является, в конечном счёте, источником открытий, и наши мозги сейчас почти такие же, как они были 10 тысяч лет назад.

Похожим образом, естественный отбор улучшает организмы, но процесс естественного отбора не улучшает сам себя – по большому счёту. Одна адаптация может открыть дорогу к дополнительным адаптациям. В этом смысле адаптация питает сама себя. Но даже когда генетический океан кипит, там всё равно присутствует нижестоящий нагреватель, а именно процессы рекомбинации, мутации и селекции, которые сами себя не перепроектируют. Несколько редких нововведений увеличили скорость эволюции самой по себе, например, появление половой рекомбинации. Но даже пол не изменил сущностной природы эволюции: отсутствие в ней абстрактного интеллекта, её зависимость от случайных мутаций, её слепоту и постепенность, её сосредоточенность на частоте аллелей. Точно также появление науки не изменило сущностного характера человеческого мозга: его лимбическое ядро, церебральный кортекс, его префронтальные собственные модели, его характеристическую скорость в 200 ГЦ.

ИИ может переписать свой код с самого начала – он может изменить лежащую в основе динамику процесса оптимизации. Такой процесс оптимизации будет закручиваться гораздо сильнее, чем эволюционные накапливающие адаптации, равно как и человеческие накапливающиеся знания. Главным последствием с точки зрения наших целей является то, что ИИ может совершить огромный прыжок в интеллектуальности после достижения некого порога критичности.

Часто встречающееся скептическое мнение об этом сценарии, – который Good (1965) назвал «интеллектуальным взрывом» - происходит из того, что прогресс в области ИИ имеет репутацию очень медленного.

Здесь полезно рассмотреть свободную историческую аналогию об одном неожиданном открытии. (Дальнейшее взято главным образом из (Rhodes, 1986).)

В 1933 году лорд Эрнст Резерфорд заявил, что никто не должен ожидать, что когда-нибудь удастся извлечь энергию из распада атома: «Любой, кто искал источник энергии в трансформации атомов, говорил вздор». В те времена требовались дни и недели работы, чтобы расщепить небольшое количество ядер.

Вскоре, в 1942 году, на теннисном корте под Стаг Филдом около университета Чикаго физики строят агрегат в форме гигантской шарообразной дверной ручки из чередующихся слоёв графита и урана, намереваясь запустить первую самоподдерживающуюся ядерную реакцию. За проект отвечает Энрико Ферми.

Ключевым числом для реактора является K, эффективный фактор умножения нейтронов, то есть среднее значение числа нейтронов из реакции деления, которое вызывает другую реакцию деления. Пока К меньше единицы, реактор является субкритическим. При К >=1 реактор должен поддерживать критическую реакцию. Ферми рассчитал, что реактор достигнет К=1 при числе слоёв между 56 и 57.

Рабочая группа, руководимая Гербертом Андерсоном, закончила 57 слой в ночь 1 декабря 1942 года. Контрольные стержни - бруски дерева, покрытые поглощающей нейтроны кадмиевой фольгой, - предохраняли реактор от достижения критичности. Андерсон убрал все стержни, кроме одного и замерил радиацию реактора, подтвердив, что реактор готов к цепной реакции на следующий день. Андерсон вставил все стержни, запер их на висячие замки, запер теннисный корт и пошёл домой.

На следующий день, 2 декабря 1942 года, ветреным и морозным Чикагским утром, Ферми начал окончательный эксперимент. Все, кроме одного, стержни были подняты. В 10:37 Ферми приказал поднять последний контролирующий стержень на половину высоты. Счётчики Гейгера застучали чаще, и самописец дёрнулся вверх. «Это не то, - сказал Ферми, - график дойдёт до вот этой точки и выровняется», - указывая на точку на графике. Через несколько минут самописец дошёл до указанной точки, и не пошёл выше. Через несколько минут Ферми приказал поднять стержень ещё на один фут. Опять радиация усилилась, но затем выровнялась. Стержень подняли ещё на 6 дюймов, затем ещё и ещё.

В 11:30 медленный подъём самописца прервался колоссальным ПАДЕНИЕМ - защитный контролирующий стержень, запущенный ионизационным датчиком, активировался и опустился в реактор, который был всё ещё некритичен. Ферми тихо приказал команде сделать перерыв на обед.

В два часа пополудни команда собралась снова, вынула и заперла защитный стержень, и вывела контролирующий стержень на его последнюю позицию. Ферми сделал несколько измерений и вычислений, и затем опять начал процесс подъёма стержня небольшими шагами. В 15:25 Ферми приказал поднять стержень ещё на 12 дюймов. «Это должно дать результат», - сказал Ферми. «Сейчас она станет самоподдерживающейся. График будет расти и расти, не выравниваясь».

Герберт Андерсон рассказывает (Rhodes, 1986):

«В начале вы могли слышать звук нейтронного счётчика, щёлк-щёлк. Затем щёлчки стали появляться всё чаще и через некоторое время они слились в рёв; счётчик за ними больше не успевал. Теперь надо было переключаться на графический регистратор. Но когда это было сделано, все уставились во внезапной тишине на возрастающее отклонение пера самописца. Это была значительная тишина. Каждый понимал значительность этого переключения; мы были на режиме высшей интенсивности и счётчики больше не могли справляться с этой ситуацией. Снова и снова шкала самописца должна была сменяться, чтобы подстраиваться под интенсивность нейтронов, которая возрастал всё более и более быстро. Внезапно Ферми поднял свою руку. «Реактор достиг критичности», - объявил он. Никто из присутствующих не имел на этот счёт никаких сомнений».

Ферми дал проработать реактору 28 минут, при скорости удвоения интенсивности нейтронов в две минуты. Первая критическая реакция имела К в 1,0006. Но даже при К=1.0006 реактор был контролируем только потому, что некоторые из нейтронов из деления урана задерживаются – они получаются при распаде короткоживущих продуктов деления. На каждые 100 распадов U235 242 нейтрона испускаются почти мгновенно (0,0001 сек) и 1,58 нейтронов испускаются в среднем через десять секунд. Поскольку среднее время жизни нейтрона ~0.1 секунды, что означает 1200 поколений за 2 минуты, и время удвоения в 2 минуты, потому что умножение 1.0006 на 1200 примерно даёт 2. Ядерная реакция, являющаяся мгновенно критичной (prompt critical), достигает критичности без вклада отложенных нейтронов. Если бы реактор Ферми был бы мгновенно критичным с k=1.0006, интенсивность нейтронов удваивалась бы каждую десятую долю секунды.