Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц

C. среди толпы наблюдает за танцующими.

D. нервно кладет пальцы на клавиши.

Машины показали себя не на высоте. В то время как люди правильно отвечали на 88 процентов вопросов теста594, система ИИ, созданная Алленовским институтом, смогла одолеть лишь около 60 процентов. У других машин результат был значительно хуже. И вот примерно через два месяца группа сотрудников Google во главе с Джейкобом Девлином представила систему, которую они назвали BERT595. Тестирование показало, что система BERT смогла ответить на столько же вопросов, на сколько мог ответить человек596. И при всем том разрабатывалась она совсем не для прохождения теста.

Система BERT была «универсальной языковой моделью», как это называют ученые. Несколько других лабораторий, включая Алленовский институт и OpenAI, работали над аналогичными системами. Универсальные языковые модели – это гигантские нейронные сети, которые осваивают все тонкости и капризы языка, анализируя миллионы предложений, написанных людьми. Система, созданная OpenAI, проанализировала тысячи самоизданных книг, включая любовные романы, научную фантастику и детективы. Система BERT проанализировала столь же обширную библиотеку книг, а также все статьи из Википедии, целыми днями проглатывая текст за текстом с помощью сотен графических процессоров.

Анализируя все эти тексты, каждая из систем осваивала вполне определенный навык. Система OpenAI, например, училась угадывать следующее слово в предложении. Система BERT училась угадывать пропущенные слова в любом месте предложения (например, «Мужчина ____ машину, потому что она была дешевая»). Но, учась решать эти вполне конкретные задачи, каждая система также знакомилась с общими правилами сборки речи из кусочков, узнавала о фундаментальных взаимоотношениях между тысячами английских слов. И эти знания исследователи могли бы применять для решения широкого круга других задач. Если они загрузят в BERT тысячи вопросов и ответы на них, то машина научится самостоятельно отвечать на другие вопросы. Если они загрузят в систему OpenAI достаточное количество готовых диалогов, она сможет научиться поддерживать диалог. Если же они введут в нее тысячи негативных заголовков, он может научиться распознавать негативные заголовки.

Система BERT показала, что эта большая идея работоспособна. Машина смогла пройти проверку на «здравый смысл» от Алленовского института. Она также прошла тест на понимание прочитанного, отвечая на вопросы, относящиеся к энциклопедическим статьям. Что такое углерод? Кто такой Джимми Хоффа? В еще одном тесте она смогла оценить общее отношение рецензента, пишущего о фильме, – он одобряет увиденное или нет. В подобных ситуациях машина не каждый раз показывала идеальный результат, но этот успех мгновенно изменил подходы исследователей, занимающихся проблематикой понимания естественного языка, и значительно ускорил прогресс в данной области. Джефф Дин и Google опубликовали исходный код BERT и вскоре обучили сисчтему более чем сотне языков. Другие разработчики создавали еще более масштабные крупные модели, обучая их на еще больших объемах данных. То, что эти системы обычно называли в честь персонажей «Улицы Сезам» – ELMO, ERNIE, BERT (сокращение от Bidirectional Encoder Representations from Transformers, «Двунаправленные кодирующие представления трансформаторов»), – было своего рода шутливой договоренностью разработчиков, но не умаляло их важности. Несколько месяцев спустя, используя систему BERT, Орен Эциони и Алленовский институт создали-таки систему искусственного интеллекта, которая смогла сдать школьный экзамен по естествознанию597 – и выпускной тоже.

После успеха BERT New York Times опубликовала статью, посвященную росту универсальных языковых моделей и объясняющую, как эти системы позволят улучшить широкий спектр продуктов и услуг, начиная от виртуальных помощников, таких как Alexa и Google Assistant, и заканчивая программным обеспечением, автоматически анализирующим документы в юридических фирмах, больницах, банках и других организациях. И этим объясняется рост опасений, что такие языковые модели могут привести к созданию более мощных версий Google Duplex, то есть ботов, способных убедить мир в том, что они люди. В статье также цитируется Гэри Маркус, который заявил, что общественность должна скептически относиться к утверждениям, что эти технологии будут и дальше стремительно совершенствоваться, потому что исследователи, как правило, сосредоточиваются на задачах, в которых прогресса добиться легче, и избегают тех задач, где прогресса нет. «Эти системы еще очень далеки от истинного понимания беглой речи»598, – заявил он. Джефф Хинтон, прочитав это, очень развеселился. Эта цитата Гэри Маркуса, сказал он, хороша тем, что ее можно будет использовать в любой статье, посвященной ИИ и пониманию естественной речи, еще долгие годы. «В ней нет технического содержания, поэтому она никогда не устареет, – сказал Хинтон. – И как бы долго ни продолжался стремительный прогресс, Гэри все равно будет утверждать, что все это вот-вот закончится».

Глава 19

Автоматизация. «Если комната выглядит так, словно ее разгромили безумцы, значит, мы на правильном пути»

В одном из помещений лаборатории OpenAI, на верхнем этаже трехэтажного здания в Сан-Франциско, в районе Мишн, возле окна установлена рука с протянутой ладонью. Она очень похожа на человеческую руку, но только сделана из металла и твердого пластика и подключена к электричеству. Стоящая рядом женщина берет кубик Рубика и вкладывает его в ладонь этой механической руки. Рука начинает двигаться, осторожно вращая грани кубика всеми пятью пальцами. При каждом движении кубик балансирует на кончиках пальцев, и, кажется, рука его вот-вот уронит. Но этого не происходит. По прошествии некоторого времени, цвета на кубике начинают упорядочиваться: красный рядом с красным, желтый рядом с желтым, синий рядом с синим. Примерно через четыре минуты рука поворачивает кубик в последний раз: готово! В небольшой группе исследователей, наблюдающих за процессом, раздаются восторженные восклицания.

Работавшие под руководством Войцеха Зарембы, польского исследователя, который сразу после основания OpenAI перешел туда из Facebook, инженеры и программисты потратили более двух лет на то, чтобы добиться этого впечатляющего результата. В прошлом уже многие создавали роботов, которые могли собрать кубик Рубика. Некоторым устройствам удавалось справиться с этой задачей менее чем за секунду. Но здесь была важная особенность. Это была механическая рука, которая двигалась как рука человека, а не специализированное оборудование, созданное исключительно для сборки кубика Рубика. Обычно инженеры программируют поведение роботов с кропотливой методичностью, тратя месяцы на определение сложных правил для каждого крошечного движения. Но потребуются десятилетия, может быть, даже столетия, чтобы инженеры могли по отдельности определить и запрограммировать каждое элементарное движение, которое потребуется пятипалой руке для сборки кубика Рубика. Заремба и его команда создали систему, которая могла освоить эти движения самостоятельно. Они принадлежат к новому сообществу ученых, которые верят в то, что роботы способны овладеть практически любыми навыками в виртуальной реальности, прежде чем применять их в реальном мире.

Чтобы добиться этого, они сначала создали