Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц

целой теневой индустрии компьютерного оборудования. Но ни Google, ни ее конкуренты никогда еще не заходили так далеко, чтобы разрабатывать собственные компьютерные чипы. Для этого требовались немалые знания, навыки, опыт и инвестиции, и это просто не имело экономического смысла. Такие компании, как Intel и Nvidia, производили чипы в таких огромных количествах и так дешево, что Google не могла и надеяться тягаться с ними, тем более что их чипы успешно делали свое дело. Именно графические процессоры производства Nvidia способствовали развитию глубокого обучения, помогая обучать такие системы, как голосовой сервис для Android. Но теперь Дин имел дело с новой проблемой: ему нужен был более эффективный способ обслуживания этой обученной системы ее работы и доставки ее через интернет по всему миру. Дин мог продолжать использовать в этих целях компьютеры с графическими или даже стандартными процессорами, но это не обеспечивало того уровня эффективности, который ему был нужен. Поэтому-то он и его команда решили создать новый чип, предназначенный специально для работы с нейронными сетями. Для решения этой задачи они мобилизовали все доступные ресурсы из других групп, включая «поисковиков». К этому времени все уже понимали, на что способно глубокое обучение.

На протяжении многих лет компания разрабатывала аппаратное обеспечение для своих дата-центров в полусекретной лаборатории в Мэдисоне, штат Висконсин. Хёльцле – бывший профессор информатики с бриллиантовой серьгой-гвоздиком и коротко стрижеными волосами с проседью – видел в этой работе истинное конкурентное преимущество компании и ревниво охранял свои разработки от глаз конкурентов, таких как Facebook и Amazon. Мэдисонская лаборатория, несмотря на свою удаленность, постоянно пополнялась свежими кадрами из числа талантливых выпускников инженерного факультета Висконсинского университета. И теперь Дин и Хёльцле бросили все эти таланты на создание нового чипа, переманив им в помощь опытных инженеров из компаний Кремниевой долины, таких как HP. В результате этих усилий родился тензорный процессор. Он был разработан специально для работы с тензорами – математическими объектами, лежащими в основе нейронной сети. Хитрость заключалась в том, что его вычисления были менее точными217, чем у обычных процессоров. Количество вычислений, выполняемых нейронной сетью, огромно, но большая точность для каждого из этих вычислений не требуется. Вычисления происходят с целыми, а не с дробными числами. Вместо того чтобы умножать 13,646 на 45,828, тензорный процессор отсекает дробную часть и просто умножает 13 на 45. Благодаря этому он может выполнять триллионы дополнительных вычислений каждую секунду – а это именно то, что требовалось Дину и его команде не только для голосового сервиса, но и для машинного перевода.

То, что создал Суцкевер, имело научное значение, но еще не было продуктом, готовым к массовому потреблению. Его система хорошо работала с обычными словами, но не с расширенным лексиконом и не могла конкурировать с существующей системой машинного перевода – построенной на основе старых добрых правил языка и статистики, – которую компания Google предлагала пользователям в режиме онлайн уже более десяти лет. Но благодаря всем данным, которые он собрал, компания накопила огромное количество переводов, которые могли бы помочь обучить гораздо более крупную нейронную сеть, используя методы, продемонстрированные Суцкевером и его коллегами. Их объем был примерно в сто, если не в тысячу раз больше218, чем тот, на котором Суцкевер обучал свою систему. И вот в 2015 году Дин нанял трех инженеров219, чтобы они построили систему, которая могла бы обучаться на всех этих данных.

Существующий автоматический переводчик Google разбивал предложения на части, переводил эти части на другой язык, а затем пытался соединить полученные фрагменты в связное целое – недаром телеведущий Джимми Фэллон любил посмеяться над искаженными и порой совершенно бессвязными фразами, создаваемыми системой Google Translate. Например, оценка качества перевода с английского на французский220, измеряемая по стобалльной шкале BLEU, была ниже тридцати, и это означало, что перевод был так себе. За четыре года работы эту оценку удалось улучшить всего на три пункта. А вот команда Дина всего за несколько месяцев работы построила нейронную сеть, которая превзошла существующую систему на семь пунктов221. Главная сила их метода, как и всех методов, связанных с глубоким обучением, заключалась в том, что система училась переводить фразы целиком, не разбивая их на фрагменты. «Внезапно непостижимое стало постижимым, – говорит Макдафф Хьюз, который руководил командой, создававшей прежнюю систему перевода. – Как будто кто-то включил свет».

Но была еще проблема. Чтобы перевести предложение из десяти слов, требовалось десять секунд222. Для открытого интернета это было слишком медленно. Люди просто не станут этим пользоваться. Хьюз полагал, что компании потребуется еще три года223, чтобы отточить систему до такой степени, чтобы она могла выполнять переводы без малейшего промедления. Дин, однако, думал иначе224. «Мы можем сделать это к концу года, если постараемся»225, – сказал он Хьюзу во время широкого совещания, проходившего в одном из отелей Сан-Франциско. Хьюз был настроен скептически226, но поставил своей команде задачу подготовить новой сервис к концу года. «Я не собираюсь227 убеждать Джеффа Дина, что это неосуществимо», – сказал он.

Им нужно было успеть опередить Baidu. Специалисты китайского интернет-гиганта несколькими месяцами ранее опубликовали статью228 с описанием аналогичных исследований, а летом того же года появилась еще одна разработка, производительность которой не уступала системе, которую разрабатывали в Google Brain. Когда Джефф Дин и его команда создали новую версию Google-переводчика, они решили, что сервис должен дебютировать на английском и китайском языках. Из-за огромных различий между этими двумя языками именно в этой паре глубокое обучение обеспечивало наибольший прогресс. Кроме того, именно перевод с английского на китайский и обратно пользовался наибольшим спросом. В конце концов, речь шла о двух крупнейших экономических державах мира. Инженеры Google справились с задачей даже на три месяца раньше установленного Дином срока – и все благодаря тензорным процессорам. Фраза, перевод которой с использованием обычного оборудования еще в феврале занимал десять секунд, теперь, благодаря новому чипу, могла быть переведена за миллисекунды229. Первую доступную для пользователей версию нового переводчика выпустили сразу после Дня труда230, намного опередив Baidu. «Я был поражен тем, насколько удачно все получилось. Думаю, все были поражены, – говорит Хинтон. – Никто не ожидал, что все сработает так хорошо и так скоро».

* * *

Когда Джеффри Хинтон перешел в Google, они с Джеффом Дином занялись проектом231, который они сами называли «Дистилляцией». Речь шла о том, чтобы взять одну из гигантских нейронных сетей, которые они обучали внутри компании, а затем сжать все, чему она научилась, до