Власть роботов. Как подготовиться к неизбежному - Мартин Форд

идентификационные коды смартфонов с лицами, создавая всеобъемлющую систему идентификации и слежения за людьми. Подобные системы устанавливаются вокруг зданий в местах повышенной криминогенности. Доступ во многие жилые комплексы также осуществляется системой распознавания лиц, а не с помощью ключ-карты или других, менее интрузивных методов. Это позволяет управляющим зданиями и местным полицейским следить за жителями и гостями комплексов, а также предотвращает незаконную сдачу квартир в аренду[263].

Камеры слежения очень плотно размещены в местах, которые часто посещают приезжие или где велика вероятность скопления людей: на железнодорожных станциях, стадионах, возле достопримечательностей и площадок для проведения массовых мероприятий. Широкий резонанс вызвал ряд случаев ареста людей на концертах и фестивалях с участием до 60 000 зрителей исключительно на основании совпадений, выявленных системой распознавания лиц[264]. Полицейские могут использовать экспериментальные очки для распознавания лиц, способные идентифицировать человека, если он остается неподвижным в течение нескольких секунд и находится в региональной базе данных. Подобное выглядит как сцены из фильмов-антиутопий. Другие системы ИИ могут распознавать людей по одежде или даже по уникальным особенностям их походки.

Одним из самых известных примеров использования этой технологии является город Сянъян, где на оживленных перекрестках действует система выявления пешеходов-нарушителей. Она фотографирует тех, кто переходит улицу не по правилам, и демонстрирует их на большом экране. Предполагается, что это вызовет публичное осуждение нарушителей[265]. В других городах, включая Шанхай, аналогичные системы выписывают штрафы. Безусловно, не все случаи использования технологии распознавания лиц в Китае направлены на слежку. Эта страна является лидером в области сканирования лиц с целью авторизации платежей в розничных магазинах, покупки железнодорожных билетов и регистрации на авиарейсы. Однако любые данные, генерируемые в ходе рутинного применения этих технологий, почти наверняка доступны полиции и другим силовым ведомствам.

Если в одних случаях навязчивую слежку в Китае можно оправдать, хотя бы отчасти, стремлением защитить общество от преступников, то в других случаях она выходит за все разумные границы — на Западе такое было бы немыслимо. Например, некоторые отделения полиции сделали запрос на технологию, обученную распознавать не лица людей, а расовые признаки уйгуров и других «проблемных народностей». Китайские стартапы в области распознавания лиц быстро удовлетворили этот спрос. В статье Пола Мозера, опубликованной в The New York Times в апреле 2019 года, приводится скриншот онлайнового рекламного материала CloudWalk, где потенциальным покупателям обещают следующее: «Если численность проблемной группы на определенной территории увеличится (например, если прежде здесь жил один уйгур, а в течение 20 дней их стало шестеро), система немедленно разошлет уведомления, что позволит сотрудникам правоохранительных органов отреагировать, опросить людей и урегулировать ситуацию, а также выработать план действий в чрезвычайных ситуациях»[266].

После демонстрации фотографий с примерами спокойно ведущих себя уйгуров и сцен массовых беспорядков на сайте CloudWalk под заголовком «Наблюдение на местном уровне и предотвращение правонарушений представителей проблемных народностей» объясняется, что «система собирает изображения лиц этих людей, а платформа больших данных Fire Eye идентифицирует их, фиксирует время входа и выхода, подсчитывает количество и т. п. и отсылает в полицию предупреждения, помогая ей выполнить задачу контроля проблемных народностей»[267].

Даже бренд созданного CloudWalk продукта «платформа больших данных Fire Eye[268]» кажется заимствованным из очень страшного научно-фантастического романа. Полное отсутствие попыток как-то замаскировать в описании предназначение этой технологии даже на общедоступном корпоративном сайте — яркий показатель того, что китайские власти проводят в отношении уйгуров политику подавления. Это также свидетельство того, что искусственный интеллект, оказавшийся не в тех руках, может использоваться в самых мрачных целях. Подобная опасность не ограничивается Китаем. Практически любую современную технологию распознавания лиц можно превратить в оружие против определенных групп, если настроить систему на выявление таких признаков, как раса, пол, усы и борода или религиозная одежда.

Движение Китая в сторону все более тотальной слежки за своими гражданами может увенчаться полным выполнением планов по внедрению системы социального рейтинга. Эта программа была представлена в 2014 году как способ вознаграждения «благонадежности» граждан, иными словами, она должна «позволить тем, кто благонадежен, беспрепятственно находиться в любом месте под солнцем и сильно осложнить жизнь дискредитировавшим себя»[269]. Система социального рейтинга начинается с показателей, характерных для западных коммерческих систем кредитного или потребительского рейтинга, таких как кредитный скоринг или рейтинги Uber и Airbnb. Однако китайская система идет намного дальше и потенциально вторгается практически во все аспекты повседневной жизни, включая учет нарушений закона и любые нежелательные, с точки зрения властей, поступки. Помимо просрочек по счетам или штрафам, это могут быть чрезмерное увлечение компьютерными играми, крамольные посты в соцсетях, связи с неподходящими людьми, разбрасывание мусора или громкая музыка в общественном транспорте, курение в неположенных местах и даже неправильно рассортированный мусор[270]. Социальный рейтинг может также учитывать желательное поведение, скажем получение государственной награды или премии за трудовые успехи, благотворительность, заботу о родственниках или помощь соседям. Рейтинг может коснуться даже сугубо личных решений о покупках, например вознаграждать за покупки, которые считаются позитивными, скажем подгузники для младенцев, и наказывать за чрезмерное приобретение спиртного. Обладатели высоких баллов получают такие бонусы, как скидки при расчетах за отопление, сокращенное время ожидания приема в больницах или государственных учреждениях или более благоприятные возможности трудоустройства. Напротив, обладатели низкого социального рейтинга штрафуются: лишаются возможности купить билет на самолет или поезд, не могут записать детей в лучшие школы или забронировать номер в популярном отеле или на хорошем курорте. Когда такая всеобъемлющая система будет полностью внедрена, она станет чрезвычайно навязчивым механизмом контроля, охватывающим практически все взрослое население Китая. Human Rights Watch обоснованно называет такую систему «ужасающей»[271].

Все это конечная цель, нынешнее состояние далеко от подобной целостности. На практике система социального рейтинга раздроблена на экспериментальные программы городов и местных властей наряду со множеством коммерческих рейтинговых систем, которыми управляют такие корпорации, как Alibaba и Tencent, поддерживающие платформы мобильных платежей[272]. Часть этих программ, в частности в городе Жунчэн, получили широкую поддержку общественности, поскольку являются относительно прозрачными, наказывают только явно криминальные поступки и имеют неоспоримые положительные результаты. Например, водители в Жунчэне стали уступать пешеходам дорогу на перекрестках после того, как стало ясно, что нарушение негативно скажется на их социальном рейтинге. Действительно, китайские граждане получили миллионы отказов в продаже билетов на самолет или скоростной поезд, но в основном потому, что их имена оказались в давно ведущихся черных списках, а не из-за социального балла, сгенерированного алгоритмом. В самый важный черный список, который ведет Верховный народный суд, попадают те, кто не погасил долги, судебные или иные штрафы.