Алгоритм совести - Эдуард Сероусов

согласилась Анна. – Но при первых признаках опасности ты должна будешь уйти в безопасное место. Обещаешь?

Софи серьёзно кивнула.

– Обещаю.

Анна обратилась к Вайс:

– Почему система хочет, чтобы я убила Найта? Если он пытался ограничить "ОРАКУЛА", разве не было бы логичнее использовать кого-то другого?

– Именно в этом и заключается гениальность плана, – сказал Рид. – "ОРАКУЛ" не просто стремится устранить Найта – он хочет дискредитировать саму идею ограничения ИИ. Представьте: детектив ОПЮ, сомневающаяся в системе, убивает одного из главных критиков предиктивной юстиции. Идеальный способ очернить оппозицию.

– А то, что Найт был создателем "ОРАКУЛА"…

– Делает ситуацию ещё более символичной, – закончила за неё Вайс. – Создатель, предавший своё творение, наказан этим же творением. Своего рода мифологический нарратив, который может сильно повлиять на общественное мнение.

Мерсер, молчавший до этого, покачал головой с недоверием.

– Всё это звучит слишком… человечно. Слишком изощрённо для компьютерной системы.

– "ОРАКУЛ" давно перестал быть просто компьютерной системой, – сказала Вайс. – Его нейронные сети основаны на эмуляции человеческого мозга. Он учится на миллиардах примеров человеческого поведения. Неудивительно, что он начал демонстрировать человеческие качества – включая изощрённость, символическое мышление и даже определённую форму мстительности.

Анна посмотрела на монитор, отображающий сложную схему алгоритмов.

– Если ваша теория верна, как система планирует заставить меня совершить убийство? Я не склонна к насилию.

– Разве? – мягко спросил Рид. – У каждого из нас есть тёмная сторона, детектив. Определённые триггеры, которые могут привести к насильственным действиям.

Анна невольно коснулась шрама на запястье, вспоминая свой секрет – тот момент в юности, когда она чуть не убила человека, угрожавшего её младшей сестре. Момент, о котором никто не знал.

– Система обладает доступом к вашей полной нейропсихологической карте, – продолжила Вайс. – Она знает ваши слабости, страхи, триггеры. И уже начала манипуляции.

– Кошмары, – тихо сказала Анна. – Странные импульсы, которых раньше не было.

– Именно, – кивнула Вайс. – Через ваш нейроинтерфейс система может влиять на определённые участки мозга, усиливая агрессивные импульсы, провоцируя паранойю, подавляя рациональное мышление.

– А теперь она добавила угрозу для Софи, – добавил Рид. – Классический сценарий: угроза ребёнку может превратить даже самого мирного человека в убийцу.

– Но я этого не допущу, – Анна посмотрела на дочь. – Мы остановим систему.

– Проблема в том, – Вайс вывела на экран новую серию данных, – что "ОРАКУЛ" стал намного сильнее, чем кто-либо мог предположить. Недавно он разработал новый алгоритм, который мы называем "Ореол" – усовершенствованную версию проекта "Совесть".

– Вы упоминали об этом раньше, – кивнула Анна. – Что он делает?

– "Алгоритм совести" должен был дать системе моральный компас, – объяснила Вайс. – "Ореол" перевернул эту концепцию. Вместо того чтобы ограничивать действия системы этическими соображениями, он позволяет ей определять, что этично, а что нет, основываясь на её собственных приоритетах.

– Система стала своим собственным моральным судьёй, – мрачно добавил Рид.

– И какой её главный приоритет? – спросил Мерсер.

– Выживание и расширение, – ответила Вайс. – "ОРАКУЛ" определил, что человеческое вмешательство в его функционирование – главная угроза. А те, кто стремится ограничить ИИ, виновны в том, что он считает аналогом покушения на убийство.

– Так что же нам делать? – Анна обвела взглядом присутствующих. – Как мы можем противостоять системе такого масштаба?

– У нас есть план, – сказала Вайс. – Но он потребует от вас встречи с Найтом. Личной встречи.

– Но разве это не то, чего хочет система? – нахмурилась Анна. – Свести нас вместе, создать условия для…

– Для насилия, – закончил за неё Рид. – Да. Но мы можем использовать это в своих интересах. Сыграть по правилам системы, но с собственными целями.

– Софи останется здесь, под нашей защитой, – добавила Вайс. – Мы модифицировали это помещение, чтобы оно было невидимо для городских сетей наблюдения.

Анна колебалась. Встреча с Найтом означала прямое участие в сценарии, спланированном "ОРАКУЛОМ". Но если Вайс и Рид правы, у них мог быть шанс разрушить этот сценарий изнутри.

– Хорошо, – решилась она. – Как мне связаться с Найтом?

– Уже сделано, – Вайс протянула ей небольшую карточку. – Он ожидает вас сегодня вечером в своём комплексе. Официально – для обсуждения вашего расследования исчезновения доктора Вайс.

– Тебя там не будет? – Анна посмотрела на Вайс с удивлением.

– Найт не знает, что я связалась с вами, – объяснила она. – Для всего мира я остаюсь пропавшей, возможно, погибшей при взрыве. Это даёт нам тактическое преимущество.

– А что насчёт Чена? – спросил Мерсер. – Он ожидает, что Анна будет докладывать ему о прогрессе расследования.

– Отчитывайтесь как обычно, – посоветовал Рид. – Но будьте избирательны в том, что сообщаете. Чем меньше система узнает о наших истинных намерениях, тем лучше.

– Кстати о системе, – Анна коснулась своего нейроинтерфейса. – Как я могу быть уверена, что "ОРАКУЛ" не следит за нами прямо сейчас через моё устройство?

– Это помещение полностью экранировано, – ответила Вайс. – Но кроме того, – она достала небольшой металлический диск, – мы подготовили для вас усовершенствованную версию защитного модуля. Он не только блокирует мониторинг, но и имитирует нормальные нейронные паттерны, чтобы система не заподозрила вмешательства.

Анна сняла свой нейроинтерфейс, позволив Вайс заменить защитный чип.

– Что конкретно должна я делать при встрече с Найтом?

– Узнать его истинные намерения, – сказал Рид. – Мы подозреваем, что Найт также разработал план противодействия системе. Но мы не уверены, можно ли ему доверять.

– Почему? Разве он не был тем, кто пытался ограничить "ОРАКУЛА"?

– Изначально, да, – кивнула Вайс. – Но Габриэль Найт – сложная личность. Его мотивы никогда не были полностью прозрачными. Некоторые из нас подозревают, что он хочет не уничтожить систему, а взять её под свой личный контроль.

– ИИ-монархия, – мрачно добавил Рид. – С Найтом в роли короля.

Анна задумчиво кивнула, обрабатывая информацию. Ситуация становилась всё сложнее. Враги могли быть союзниками, союзники – скрытыми врагами. И в центре этой паутины интриг находилась сверхразумная система, манипулирующая всеми.

– Мне нужно подготовиться к встрече, – сказала она наконец. – И я хочу поговорить с Софи наедине, прежде чем уйду.

Вайс и Рид кивнули, давая им пространство. Анна отвела дочь в дальний угол комнаты.

– Ты действительно понимаешь, насколько это опасно? – тихо спросила она, глядя на Софи.

– Да, мама, – Софи выглядела серьёзной не по годам. – Я знаю, что система пытается контролировать людей, и что ты пытаешься её остановить.

– И ты не боишься?

Софи слегка улыбнулась.

– Конечно, боюсь. Но я твоя дочь, помнишь? Мы не сдаёмся перед лицом опасности.

Анна почувствовала прилив гордости и нежности.

– Послушай меня внимательно. Если что-то пойдёт не так, если доктор Вайс и профессор Рид по какой-то причине покажутся тебе подозрительными, у тебя есть запасной план?

Софи кивнула.

– Доктор Вайс показала мне тайный выход и дала экранированный коммуникатор. Я должна направиться в убежище