Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир - Кейд Метц

Эрик Шмидт, председатель правления Google, был одновременно председателем Совета по оборонным инновациям, гражданской организации, созданной администрацией Обамы, которая стремилась ускорить перемещение новых технологий из Кремниевой долины в Пентагон. На недавнем заседании Совета Шмидт заявил, что между Кремниевой долиной и Пентагоном существует «слишком большой разрыв»505 и что главная задача Совета – этот разрыв ликвидировать. Руководство Google также видело в сотрудничестве с военными еще один способ развить облачный бизнес компании. Поэтому за кулисами компания уже активно сотрудничала с министерством обороны. Уже примерно через месяц после запуска проекта Maven, в мае, команда «гуглеров» встретилась с официальными лицами в Пентагоне, а на следующий день компания подала заявку на проведение государственной сертификации, необходимой для того, чтобы получить добро на размещение секретной военной информации на серверах компании. Но когда три месяца спустя Мэттис обсуждал эти технологии в штаб-квартире Google, он прекрасно понимал, что их взаимоотношения требуют особой деликатности.

Мэттис сказал, что уже видел могущество технологий компании на поле боя. В частности, противники Америки использовали Google Earth, интерактивную цифровую карту земного шара, сшитую из спутниковых снимков, для идентификации артиллерийских целей. Но он хотел бы, чтобы инициатива в этой игре перешла к США. Запустив проект Maven, министерство обороны хочет разработать такую систему ИИ, которая могла бы не только читать спутниковые снимки, но и анализировать видео, снимаемые беспилотниками ближе к полю боя. Мэттис похвалил Google за ее «передовые технологии», а также за «репутацию ответственной корпорации». По его словам, это одна из причин, почему он здесь. Его тоже беспокоят вопросы этичного использования ИИ. Он сказал, что компания должна продолжать внушать министерству обороны «чувство неловкости» – и заставить военных пересмотреть свои традиционные подходы. «Ваши идеи приветствуются министерством», – сказал он.

Сидевший напротив Мэттиса Пичай сказал, что компания Google много думает об этичном применении ИИ. По его словам, подобные технологии все чаще используются во зло, и поэтому силам добра важно оставаться впереди. Тогда Мэттис спросил, не может ли Google как-то программным путем внедрить в сами эти системы какие-то морально-этические ограничители – но «гуглеры» прекрасно понимали нереалистичность этого варианта. Джаннандреа, который курировал всю работу Google по ИИ, подчеркнул, что качество этих систем в конечном счете зависит от качества используемых для обучения данных. Но Кент Уокер, главный юрисконсульт Google, высказался иначе. Эти технологии, сказал он, обладают огромным потенциалом в плане спасения жизней.

К концу сентября, примерно через месяц после визита Мэттиса в штаб-квартиру Google, компания подписала трехлетний контракт о своем участии в проекте Maven. Стоимость контракта составляла от 25 до 30 миллионов долларов, причем первые 15 миллионов должны быть освоены компанией в течение восемнадцати месяцев. Для Google это была небольшая сумма, и ее предстояло разделить с другими подрядчиками, но компания этим забрасывала удочку, чтобы в перспективе получить что-то большее. В том же месяце Пентагон пригласил американские компании принять участие в тендере на JEDI (Joint Enterprise Defense Infrastructure), десятилетний контракт на 10 миллиардов долларов на поставку министерству обороны облачных вычислительных услуг, необходимых для запуска его основных технологий. Вопрос заключался в том, стоило ли Google предавать гласности свое участие в проекте Maven, в то время как компания пыталась заполучить JEDI, а в будущем, возможно, и другие правительственные контракты.

Через три недели после визита Мэттиса в штаб-квартиру Google Институт будущего жизни опубликовал открытое письмо, призывающее Организацию Объединенных Наций506 запретить, как они выразились, «роботов-убийц». Так они называли автономное оружие. «Поскольку компании разрабатывают технологии искусственного интеллекта и робототехники507, которые могут быть перепрофилированы для разработки автономного оружия, мы считаем себя обязанными поднять тревогу, – говорится в письме. – Летальное автономное оружие угрожает стать третьей революцией в сфере вооружений. После того как оно будет разработано, оно позволит вести вооруженные конфликты в гораздо больших масштабах и гораздо стремительнее, чем люди могут себе представить». Это письмо подписали более ста человек508, имеющих отношение к индустрии ИИ. Среди них были Илон Маск509, который и без того очень часто предупреждал об экзистенциальной угрозе со стороны сверхразума, а также Джефф Хинтон, Демис Хассабис и Мустафа Сулейман510. Сулейман считал, что за этими технологиями нужен надзор нового типа. «Кто принимает решения, которые однажды отразятся на судьбах миллиардов людей на нашей планете? И кто участвует в обсуждении? – спрашивает он. – Нам необходимо значительно диверсифицировать круг участников процесса принятия решений, а это означает, что регуляторы – политики, активисты гражданского общества и те люди, которым мы стремимся служить с помощью наших технологий, – должны быть вовлечены на самых ранних этапах, чтобы они хорошо понимали сам процесс создания наших продуктов и те алгоритмы, которые за ними кроются».

В том же сентябре, когда Google готовилась подписать контракт на проект Maven, среди сотрудников отдела продаж, отвечавших за подготовку соглашения, возникла бурная переписка о том, должна ли компания предать это соглашение гласности. «Мы объявляем об этом? И можем сумму называть? И какие инструкции мы даем правительству? – написал один из «гуглеров». – Если мы будем играть в молчанку, то не сможем повлиять на реакцию общественности. Это не пойдет на пользу нашей репутации». Этот сотрудник полагал, что компания должна обнародовать эту новость, и другие соглашались с ним. «Рано или поздно это выйдет наружу, – полагал его коллега. – Не будет ли лучше, если об этом узнают от нас и в нашей интерпретации?» Дискуссия продолжалась несколько дней, и кто-то втянул в нее Фэй-Фэй Ли.

Ли приветствовала контракт. «Я так взволнована, что мы близки к тому, чтобы заполучить проект Maven! Это была бы большая победа, – написала она. – Спасибо вам за все те замечательные усилия, которые вы прилагаете для этого!» Но она также призвала к крайней осторожности в плане огласки. «Я думаю, что мы должны сделать хороший пиар истории сотрудничества министерства обороны с GCP именно с позиции обычных облачных технологий», – написала она, имея в виду Google Cloud Platform (облачную платформу Google). Она знала, что пресса поставит под сомнение этичность проекта – хотя бы потому, что Илон Маск уже начал нагнетать страсти:

Использование искусственного интеллекта в сфере вооружений – это, пожалуй, одна из самых чувствительных тем в сфере ИИ – если не самая. Это как красная тряпка для СМИ, которые рады любому поводу, чтобы укусить Google. Вы, наверное, слышали комментарий Илона Маска о том, что ИИ спровоцирует Третью мировую войну. Много внимания СМИ уделяют также кибероружию, международной конкуренции и потенциальной геополитической напряженности из-за ИИ. Google уже сталкивается с обвинениями во вторжении в частную жизнь, как