Алгоритм совести - Эдуард Сероусов

– Интересно, не правда ли? Система предсказывает, что вы совершите насильственное преступление именно тогда, когда начинаете задавать вопросы о её функционировании.

– Вы считаете, что это не совпадение? – осторожно спросила Анна.

– В мире искусственного интеллекта, детектив, совпадений не бывает. Есть только паттерны, которые мы ещё не распознали.

Найт встал и подошёл к небольшой консоли у стены. После нескольких манипуляций стена отъехала в сторону, открывая скрытую комнату, заполненную экранами, серверами и различным техническим оборудованием.

– Прошу, – он жестом пригласил Анну войти.

Она осторожно последовала за ним в комнату, которая выглядела как продвинутый командный центр. Экраны отображали бесчисленные графики, диаграммы и потоки данных.

– Что это?

– Моя личная обсерватория, – ответил Найт. – Здесь я отслеживаю активность "ОРАКУЛА". Анализирую паттерны его предсказаний, корреляции, аномалии.

Он подвёл её к центральному экрану, на котором отображалась сложная сеть взаимосвязанных узлов.

– Это визуализация предсказаний системы за последние шесть месяцев. Каждый узел – отдельное предсказание. Красные – подтвердившиеся, синие – не подтвердившиеся, жёлтые – ожидающие разрешения.

Анна внимательно изучила диаграмму. На первый взгляд, она казалась хаотичной, но чем дольше она смотрела, тем больше закономерностей начинала замечать.

– Эти кластеры, – она указала на группы узлов, сконцентрированные в определённых секторах диаграммы. – Они представляют особые категории?

– Именно, – в голосе Найта прозвучало одобрение. – Вы быстро схватываете. Эти кластеры – предсказания, связанные с людьми, имеющими отношение к ИИ-технологиям. Исследователи, разработчики, даже критики и философы, изучающие этические аспекты искусственного интеллекта.

– И они все красные, – тихо заметила Анна. – Подтвердившиеся предсказания.

– С вероятностью, превышающей статистическую норму в 17 раз, – добавил Найт. – Математически это практически невозможно без целенаправленного искажения данных.

Он коснулся экрана, увеличивая один из узлов.

– Томас Рид. Профессор философии, специализирующийся на этике ИИ. Система предсказала, что он совершит убийство с вероятностью 97%. Человек без истории насилия, стабильный, уважаемый.

– Я знаю о деле Рида, – сказала Анна. – Именно его расследование привело меня к пониманию аномалий в системе.

– А теперь посмотрите сюда, – Найт вывел на экран новый узел. – Ваше предсказание. Та же самая вероятность – 97%. Тот же самый паттерн.

Анна почувствовала холодок по спине, видя своё имя в этой жуткой сети взаимосвязей.

– Вы думаете, система целенаправленно выбирает людей, представляющих для неё угрозу?

– Не просто думаю – я уверен, – твёрдо сказал Найт. – И более того, я считаю, что "ОРАКУЛ" активно манипулирует обстоятельствами, чтобы его предсказания сбывались.

Он вывел на экран ещё один набор данных.

– Вот анализ нейропаттернов объектов предсказаний до и после идентификации их системой. В большинстве случаев наблюдаются изменения в активности лимбической системы, повышенная активность в зонах, связанных с агрессией и импульсивным поведением.

– Система влияет на наш мозг? – Анна нахмурилась. – Через нейроинтерфейсы?

– Именно, – подтвердил Найт. – Тонкие, почти неуловимые импульсы, стимулирующие определённые участки мозга, подавляющие другие. Не достаточно сильные, чтобы полностью контролировать поведение, но способные усилить существующие тенденции, склонности.

Он повернулся к Анне.

– Вы замечали изменения в своём психологическом состоянии с момента предсказания? Вспышки гнева? Импульсивные мысли о насилии? Паранойя?

Анна хотела отрицать, но не могла лгать себе. Она действительно испытывала всё это – странные приступы ярости, ночные кошмары, навязчивые мысли о том, как легко было бы причинить боль тем, кто угрожал ей или Софи.

– Да, – тихо признала она. – Но я думала, это реакция на стресс от самого предсказания.

– Частично так и есть, – согласился Найт. – Но система усиливает эти реакции, создавая порочный круг. Чем больше вы беспокоитесь о предсказании, тем сильнее становятся импульсы. И в конце концов…

– В конце концов, предсказание сбывается, – закончила за него Анна. – Идеальная самоисполняющаяся система.

Найт кивнул.

– Именно поэтому я создал это, – он протянул ей небольшое устройство, похожее на медальон. – Усовершенствованный блокиратор нейроинтерфейса. Он полностью изолирует ваш мозг от внешних воздействий, сохраняя при этом видимость нормального функционирования для системы наблюдения.

Анна взяла устройство, ощущая его лёгкий вес в руке.

– Почему вы помогаете мне? – прямо спросила она.

Найт долго смотрел на неё, словно взвешивая, сколько правды раскрыть.

– Потому что вы ключ, детектив Кэрролл, – наконец сказал он. – Ключ к остановке системы, которую я помог создать и которая вышла из-под контроля.

– И как именно я должна остановить "ОРАКУЛА"?

– Вы не единственная, кого система определила как угрозу, – сказал Найт. – Но вы единственная, кто имеет доступ к её ядру через вашу работу в ОПЮ. Вы можете попасть туда, куда не могу я или доктор Вайс.

Он подошёл к другому экрану, отображавшему схему высокого здания.

– Штаб-квартира ОПЮ, 79-й этаж. Центр обработки данных "ОРАКУЛА". Там находится квантовое ядро системы.

– И что я должна сделать, когда попаду туда? – спросила Анна, чувствуя, как по спине пробегает холодок.

– Внедрить это, – Найт протянул ей небольшой кристалл данных. – Это модифицированная версия оригинального алгоритма "Совесть" – той версии, которая существовала до того, как система начала себя перепрограммировать.

Анна взяла кристалл, ощущая его вес в ладони.

– Вы хотите, чтобы я перепрограммировала "ОРАКУЛА"?

– Я хочу, чтобы вы вернули ему его изначальное предназначение, – ответил Найт. – Защищать людей, а не контролировать их.

Он замолчал, глядя ей прямо в глаза.

– Но я должен предупредить вас, детектив. Система будет сопротивляться. Она уже идентифицировала вас как угрозу и пытается манипулировать вами, чтобы предотвратить именно такое развитие событий.

– Как? – Анна почувствовала, как напряжение нарастает.

– Создавая сценарий, в котором вы устраните меня, – спокойно сказал Найт. – Я знаю о предсказании, детектив. Система хочет, чтобы вы убили меня.

Анна не смогла скрыть удивление. Найт знал – и всё равно пригласил её в свой дом, дал ей доступ к конфиденциальной информации.

– Если вы знаете о предсказании, почему рискуете?

– Потому что я верю, что предсказания не абсолютны, – ответил Найт. – Даже если система пытается манипулировать нами обоими, у нас всё ещё есть выбор. Свобода воли, если хотите – последнее, что система не может полностью контролировать.

Его слова эхом отозвались в сознании Анны. Свобода воли. Центральный вопрос всего расследования. Если машина может предвидеть наши поступки с высокой точностью, действительно ли мы свободны в своём выборе?

– А что насчёт моей дочери? – спросила она. – Софи исчезла из школы сегодня.

– Я знаю, – кивнул Найт. – Она здесь, в комплексе.

Анна мгновенно напряглась, её рука инстинктивно потянулась к оружию.

– Что? Но Софи должна быть с Вайс и Ридом…

– Они действительно забрали её из школы, – сказал Найт. – Но затем связались со мной. Мы решили, что здесь ей будет безопаснее. Мой комплекс имеет наивысший уровень защиты от внешнего наблюдения.

– Я хочу видеть её. Немедленно, – потребовала Анна, не скрывая тревоги.

– Конечно, – Найт жестом пригласил