Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц

его навыками программирования. Крижевский даже не слышал о конкурсе ImageNet, пока Суцкевер не рассказал ему об этом, и, когда он узнал, какой у них план, это не вызвало у него такого же энтузиазма. Суцкевер неделями «массировал» данные, чтобы с ними было легче работать, а Хинтон в это время объяснял Крижевскому, что за каждый процент повышения производительности нейронной сети, он будет получать дополнительную неделю отсрочки по курсовому проекту, который ему давно было пора сдать. («Это была шутка», – говорит Крижевский. «Может, он и думал, что это шутка, но я не шутил», – говорит Хинтон.)

Крижевский, который все еще жил с родителями, занимался обучением нейронной сети из дома. Неделю за неделей он добивался все большей производительности от двух графических процессоров, которыми был оборудован компьютер, стоявший в его спальне, и это означало, что он мог тренировать свою нейронную сеть на все большем количестве входящих данных. Университету Торонто даже за электричество не приходилось платить, как любил повторять Хинтон. Каждую неделю Крижевский начинал новый раунд обучения и мог наблюдать за процессом, глядя на черный экран с непрерывно возрастающими белыми цифрами. В конце недели он проверял систему на новом наборе изображений. Поставленной цели достичь не удавалось, он вносил изменения в кодировку видеокарт, регулировал весовые характеристики нейронов и приступал к новому этапу обучения, продолжавшемуся всю следующую неделю. Потом еще. И еще. Кроме того, каждую неделю Хинтон собирал студентов в своей лаборатории. Это было похоже на собрание квакеров. Люди просто сидели там, пока кто-нибудь не выражал желание высказаться, поделиться, над чем он работает и какой прогресс достигнут. Крижевский заговаривал редко. Но когда Хинтону удавалось-таки вытянуть из него что-то, атмосфера в комнате сразу же заряжалась. «Он каждую неделю пытался выжать из Алекса Крижевского хоть какую-то информацию, – вспоминает Алекс Грейвс, еще один сотрудник лаборатории в те годы. – Он-то знал, насколько это было важно». К осени нейронная сеть Крижевского по своей эффективности превзошла все существовавшие на тот момент технологии. Она работала почти вдвое точнее137, чем лучшая из конкурирующих систем. И она победила в конкурсе ImageNet.

После этого Крижевский, Суцкевер и Хинтон опубликовали статью, где рассказали о своей системе (позже получившей название AlexNet), а в конце октября Крижевский представил ее на конференции по компьютерному зрению во Флоренции. Обращаясь к аудитории, в которой собралось более ста исследователей, он рассказал о проекте – как всегда, тихим, почти извиняющимся тоном. Когда он закончил, началась бурная дискуссия. Поднявшись со своего места, профессор из Беркли Алексей Эфрос заявил, что конкурс ImageNet нельзя считать надежным испытанием технологии компьютерного зрения. «Это совсем не то, что реальный мир», – сказал он. Если системе AlexNet показать сотни фотографий футболок, она, возможно, научится идентифицировать эти футболки, – стал развивать Эфрос свою мысль, – но речь идет о футболках, которые аккуратно, без единой морщинки, разложены на столах, а не о тех реальных футболках, которые носят на себе реальные люди. «Возможно, вы научитесь узнавать эти футболки в каталоге Amazon, но это не поможет обнаруживать настоящие футболки». Его коллега из Беркли Джитендра Малик, который обещал Хинтону, что изменит свое мнение о глубоком обучении, если нейронная сеть выиграет конкурс ImageNet, сказал, что он впечатлен, но воздержится от суждений, пока технология не будет применена к другим наборам данных. У Крижевского не было никаких шансов защитить свою работу. Эту роль взял на себя Ян Лекун, который заявил, что наступил поворотный момент в истории компьютерного зрения. «Эта система является доказательством», – сказал он громким голосом из глубины зала.

Он был прав. И после многих лет скептицизма по поводу будущего нейронных сетей он имел все основания торжествовать. Для победы в конкурсе ImageNet Хинтон и его ученики использовали модифицированную версию сверточной нейронной сети, созданной Лекуном в конце 1980-х. Но для некоторых студентов и аспирантов в лаборатории Лекуна это событие было также и поводом для разочарования. После того как Хинтон и его ученики опубликовали статью об AlexNet, студенты Лекуна чувствовали себя обойденными; после тридцатилетней гонки с препятствиями они как будто споткнулись на последнем барьере, и это ввергло их в уныние. «Студенты из Торонто оказались расторопнее нью-йоркских студентов», – сказал Лекун Эфросу и Малику, когда они обсуждали статью позже тем же вечером.

В последующие годы Хинтон сравнивал историю глубокого обучения с теорией дрейфа материков. Альфред Вегенер впервые предложил138 эту идею в 1912 году, и на протяжении десятилетий она отвергалась геологическим сообществом – отчасти потому, что сам Вегенер не был геологом. «У него были доказательства, но он был климатологом. Он был “не один из нас”. Над ним смеялись, – говорил Хинтон. – То же самое было и с нейронными сетями». Существовало множество доказательств того, что нейронные сети могут успешно решать самые разнообразные задачи, но их игнорировали. «Слишком трудно было поверить в то, что, если вы начинаете со случайных весовых коэффициентов, вводите большое количество данных и следуете градиенту, можно получить такой замечательный результат. Забудьте и думать про это. Не принимайте желаемое за действительное».

В конце концов правда Альфреда Вегенера восторжествовала, но сам он не дожил139 до этого момента. Он погиб во время экспедиции140 в Гренландию. В области глубокого обучения первопроходцем, который не дожил до этого момента торжества, был Дэвид Румельхарт. В 1990-х годах у него развилась болезнь Пика141, нейродегенеративное заболевание, приводящее к разрушению и атрофии мозга. Еще до того, как ему поставили диагноз, он развелся с женой после долгого и счастливого брака и оставил научную работу. Впоследствии он переехал в Мичиган142, к брату, который заботился о нем, и умер в 2011 году, за год до триумфа AlexNet. «Если бы он был жив, – говорит Хинтон, – именно он был бы главной фигурой». Статья об AlexNet стала одной из самых влиятельных в истории компьютерных наук; она цитировалась другими учеными более шестидесяти тысяч раз. Хинтон любит повторять, что его статью цитируют на пятьдесят девять тысяч раз чаще, чем любую из статей, когда-либо написанных его отцом. «Но кто это считает?» – добавляет он. Система AlexNet стала поворотной не только для глубокого обучения, но и для мировой IT-индустрии в целом. Она показала, что нейронные сети способны преуспеть во многих областях – а не только в распознавании речи – и что графические процессоры являются очень важным фактором этого успеха. Это изменило рынок не только программного, но и аппаратного обеспечения. Генеральный директор компании Baidu Робин Ли осознал важность этого, когда ему это все разъяснил Кай Юй, занимавшийся