Власть и прогресс - Саймон Джонсон

Именно эта кривая дорожка, выбранная IT-сообществом, ведет к интенсификации слежки и сбора данных. Хотя возможности машинного обучения значительно способствуют этим усилиям, истинным «секретным ингредиентом» являются огромные массивы данных, которых не добыть без сотрудничества с властями.

Начав усиливать авторитарные тенденции, ИИ-технологии попали в порочный круг. Правительства становятся более авторитарными – запрос на слежку и контроль за населением с их стороны возрастает, – а это, в свою очередь, подталкивает ИИ к тому, чтобы превратиться в полноценную технологию слежения.

Например, начиная с 2014 года местные власти в Китае значительно увеличили спрос на ИИ-технологии распознавания лиц и иных видов мониторинга. Это повышение спроса, по-видимому, было вызвано местными беспорядками на политической почве. Видя, что в их регионе увеличивается протестная активность, политики в ответ принимают полицейские меры, в частности усиливают надзор. Во второй половине 2010-х годов массовые протесты, особенно направленные против правительства страны, стали уже практически невозможны, хотя локальные протесты все еще имели место – и иногда, как мы упоминали ранее, даже координировались через социальные сети.

Однако к этому времени инструменты ИИ однозначно находились на стороне властей, а не протестующих. Местным властям, вооруженным ИИ-технологиями, лучше удавалось быстро подавлять протесты или даже пресекать их в зародыше. Хотя поначалу и центральное китайское правительство, и местные власти одновременно с этим начали массовый набор в полицию, увеличение вложений в ИИ, по-видимому, в конечном счете снижает потребность в людях, используемых для слежки и даже, собственно, для репрессий против протестующих.

Поразительнее то, что этот запрос от местных властей влияет на направление развития инноваций. Данные по миру ИИ-стартапов в Китае показывают, что потребность правительства в инструментах мониторинга фундаментально преображает работу исследователей. ИИ-фирмы, заключившие контракты с местными властями Китая, начинают уделять все больше времени и сил программам по распознаванию лиц и другим технологиям слежки. Возможно, в результате этих государственных поощрений Китай вырвался в мировые лидеры по распознаванию лиц и другим технологиям наблюдения, но отстает в других областях, например в обработке естественного языка, языковых навыках или абстрактном мышлении.

По оценкам международных экспертов, в развитии ИИ в целом Китай пока значительно отстает от США во всех отношениях, кроме того, в котором у него есть преимущество, – свободного доступа к данным.

Китайские исследователи работают с гораздо большими объемами данных и без тех легальных ограничений, которые часто затрудняют доступ к такому роду данным для западных исследователей. Влияние контрактов с местными властями на развитие ИИ подкрепляется тем, что в контрактах о сотрудничестве, как правило, прописано предоставление данных, имеющихся в распоряжении властей. Имея на руках обширнейшие данные, которыми можно пользоваться без всяких оговорок, и активный запрос на технологии слежения, ИИ-стартапы создают, тестируют и развивают мощные приложения, позволяющие следить за активностью граждан и контролировать ее.

Такова ловушка технологий слежения: могущественные и богатые правительства, жаждущие подавить инакомыслие, нуждаются в ИИ-технологиях для контроля над населением. Чем настойчивее они требуют таких технологий, тем больше находится исследователей, готовых над ними работать. Чем сильнее ИИ сдвигается в сторону контроля и репрессий, тем привлекательнее делается для авторитарных правительств – или тех, которые еще не авторитарны, но не прочь попробовать.

В самом деле, китайские стартапы уже начали продавать ИИ-технологии, направленные на слежку и репрессии, другим недемократическим правительствам. Один лишь китайский IT-гигант Huawei, один из основных бенефициаров неограниченного доступа к данным и финансовых вливаний, направленных на развитие шпионских технологий, экспортирует эти инструменты уже в 50 стран. В предыдущей главе мы говорили о том, как автоматизация на основе ИИ, созданная в технологически развитых странах, повлияет на весь остальной мир – для большинства людей, скорее всего, попросту разрушительно. То же верно и для слежки на основе ИИ, из-за которой большинству граждан во всех уголках мира станет гораздо труднее избегать репрессий.

Социальные сети и скрепки

Ни цензура в Интернете, ни даже высокотехнологичное шпионское оборудование еще ничего нам не сообщают о потенциальной способности социальных сетей повышать политическую сознательность и объединять оппозицию в борьбе с самыми страшными режимами мира. То, что некоторые диктаторы используют новые технологии для борьбы с собственными гражданами, никого не должно удивлять. То, что тем же самым занимаются США, тоже понятно, если мы вспомним, что у американских секретных служб есть давняя традиция плевать на закон, которая в последние годы – в период «войны с террором» – только усугубилась. Быть может, решение в том, чтобы удвоить наше присутствие в соцсетях, развивать сообщества, распространять правдивую информацию, проливающую свет на злоупотребления властей? Увы, путь развития нынешних соцсетей, оказавшихся во власти ИИ, выглядит почти столь же пагубным для демократии и прав человека, как и интернет-цензура «сверху».

Говоря об опасности, которую может представлять мощный ИИ, если его цели не будут полностью согласованы с целями человечества, компьютерщики и философы любят рассказывать притчу о скрепках. Проведем мысленный эксперимент: представим себе разумную машину с неограниченными возможностями, которой дали задание производить скрепки. Больше скрепок, ничего, кроме скрепок! Все свои неизмеримые способности она использует, чтобы преуспеть в этой задаче, изобретая все новые и новые методы, пока наконец не превратит в скрепки весь мир. Если же говорить о влиянии ИИ на политику, он способен все наши политические институты превратить в скрепки, и не благодаря каким-то выдающимся способностям, а исключительно по глупости.

В 2017 году в Мьянме Facebook был так популярен, что слова «Интернет» и «фейсбук» там стали почти синонимами. Так, 22 млн пользователей соцсети – из населения в 54 млн – оказались плодородной почвой для распространения дезинформации и «языка вражды». Мьянма – одна из самых этнически разнообразных стран в мире: в ней проживают 135 официально признанных различных народов. Военная диктатура, железной рукой правящая страной с 1962 года, с коротким периодом парламентской демократии (под присмотром военных) с 2015 по 2020 год, часто поддерживает этнические предрассудки буддистского большинства. Самым жестоким нападкам подвергается мусульманское этническое меньшинство рохинджа: государственная пропаганда изображает рохинджа как чужаков, хотя они живут в стране уже много столетий. Язык вражды против рохинджа давно стал общим местом в государственных и контролируемых государством СМИ.

В 2010 году на эту легко воспламеняемую почву межэтнических трений и воинственной пропаганды пришла Facebook. Сеть сразу стала популярна и быстро достигла цифры в 28,7 млн пользователей. В полном соответствии с принятой в Силиконовой долине верой в превосходство алгоритмов над людьми, для мониторинга всей огромной массы пользователей Facebook нанял ровно одного человека, говорящего по-бирмански, но не знающего большинства из еще примерно 100 употребляемых в этой