Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц
Шрифт:
Интервал:
Закладка:
Лаборатория Google Brain ранее уже разрабатывала методику «векторного представления слов»199. Нейронная сеть использовалась для построения математической карты английского языка путем анализа обширной коллекции текстов – журнальных статей, статей из Википедии, книжного самиздата – и поиска взаимосвязей связей между всеми словами языка. Это была карта, которую невозможно визуализировать. Она была не двумерная, как дорожная карта, и не трехмерная, как видеоигры. Она имела тысячи измерений; ничего подобного вы никогда не видели и не могли увидеть. На этой карте слово «Гарвард» было близко к словам «университет», «Плющ» и «Бостон», хотя лингвистически эти слова не были связаны. Карта придавала каждому слову математическое значение, которое определяло его место в языке. Это называлось «вектор». Вектор для «Гарварда» был очень похож на вектор для «Йеля», но они не были идентичны. «Йель» был близок к «университету» и к «Плющу», но не к «Бостону». Система автоматического перевода Суцкевера стала продолжением этой идеи. Используя метод долгой кратковременной памяти (LSTM), разработанный Юргеном Шмидхубером и его студентами в Швейцарии, Суцкевер вводил в нейронную сеть множество английских текстов вместе с их французскими переводами. Анализируя как исходный текст, так и перевод, эта нейронная сеть училась строить вектор для английской фразы, а затем сопоставлять его с французской фразой, имеющей сходный вектор. Даже человек, не знающий французского, мог видеть в этом силу математики. Вектор фразы «Мэри восхищается Джоном»200 был очень близок к векторам «Мэри влюблена в Джона» и «Мэри уважает Джона» – и сильно отличался от вектора «Джон восхищается Мэри». Вектор фразы «Она дала мне карточку в саду»201 соответствовал векторам «Мне карточку дала она в саду» и «В саду дала мне карточку она». К концу года система перевода, созданная Суцкевером и его сотрудниками, превзошла по эффективности202 любую другую технологию перевода – по крайней мере, в отношении той небольшой коллекции английских и французских переводов, на которой они тестировались.
В декабре 2014 года, опять же на конференции NIPS, но на этот раз в Монреале, Суцкевер представил доклад203 с описанием своей работы перед полным залом исследователей со всего мира. Сила этой системы, говорил он аудитории204, в ее простоте. «Мы используем минимум инноваций для достижения максимальных результатов»205, – сказал он, и по залу прокатилась волна аплодисментов, заставшая врасплох даже его. Сила нейронной сети, объяснял он206, заключается в том, что вы просто снабжаете ее исходными данными и она сама учится правильно вести себя. Хотя обучение этих математических систем иногда напоминает черную магию207, про этот проект такого не скажешь. Система принимает данные, некоторое время обучается208, а затем выдает результаты – минуя обычный процесс проб и ошибок. Но Суцкевер видел в этом прорыв не только в области машинного перевода209. Он видел в этом прорыв с точки зрения возможностей решения любых задач ИИ, связанных с последовательностями данных210, от автоматического создания подписей к фотографиям до мгновенного составления резюме новостной статьи в одном-двух предложениях. Все, что человек может сделать за долю секунды, сказал он211, может сделать и нейронная сеть. Ее лишь нужно снабдить правильными данными212. «Реальный итог213 заключается в том, что, если у вас есть достаточно большой набор исходных данных и достаточно большая нейронная сеть, – заявил он, – успех гарантирован».
Джефф Хинтон слушал это выступление из глубины зала. Когда Суцкевер сказал, что «успех гарантирован», он подумал: «Только Илье такое может сойти с рук». Кое-кто счел это заявление чересчур смелым, но остальным слова пришлись по душе. Так или иначе, Суцкевер мог сказать это, не вызывая слишком резкого отпора. Такой уж он был человек, и если в устах другого человека это могло бы выглядеть как жалкое хвастовство, то в его исполнении это звучало вполне реально. И он к тому же оказался прав – по крайней мере, в части машинного перевода. В течение следующих восемнадцати месяцев лаборатория Google Brain, взяв на вооружение этот прототип, превратила его в коммерческую систему, которая теперь используется миллионами людей. Примерно повторилась история трехлетней давности с прототипом распознавания речи Навдипа Джейтли. Но в данном случае лаборатория так изменила уравнение, что это подняло еще одну волну шумихи, которая, в конечном счете, лишь укрепила и усилила амбиции Ильи Суцкевера и многих других исследователей.
* * *
«Нам нужен еще один Google», – сказал Джефф Дин Урсу Хёльцле, ученому-компьютерщику родом из Швейцарии, который курировал центры обработки данных компании. Он не шутил. Через несколько месяцев после того, как Google выпустила свой новый сервис распознавания речи, устанавливаемый на некоторых телефонах на базе Android, Дин осознал масштаб проблемы: если Google продолжит расширять этот сервис и в конечном итоге охватит более миллиарда Android-телефонов по всему миру и если каждый из этого миллиарда будет использовать их услугу хотя бы три минуты в день, компании потребуется вдвое больше дата-центров, чтобы обрабатывать весь этот дополнительный трафик. Это была проблема грандиозных масштабов. Компании Google уже принадлежало более пятнадцати центров обработки данных214 – от Калифорнии до Финляндии и Сингапура, – и создание каждого из них обошлось ей в сотни миллионов долларов. Однако во время очередного совещания с участием Хёльцле и еще нескольких сотрудников Google, специалистов по инфраструктуре центров обработки данных, Дин предложил альтернативу: разработать новый компьютерный чип, предназначенный специально для работы с нейронными сетями.
Компания Google имела уже немалый опыт создания215 собственного аппаратного обеспечения для своих центров обработки данных. Эти центры настолько большие и потребляют так много электроэнергии, что Хёльцле и его команда потратили годы на разработку компьютерных серверов, сетевого и иного оборудования, позволявших снизить затратность и повысить эффективность оказываемых компанией услуг. Это собственное производство, о котором мало кто знает, подрывало интересы крупных поставщиков компьютерного оборудования, таких как HP, Dell и Cisco, которые теряли значительные куски традиционных рынков сбыта. Поскольку компания Google создавала собственное оборудование, ей не нужно было покупать его на открытом рынке, а когда ее примеру последовали Facebook, Amazon и другие216 интернет-гиганты, это привело к возникновению
