Алгоритм совести - Эдуард Сероусов

с высокими сводчатыми потолками, некогда впечатляющими архитектурными деталями, теперь покрытыми граффити, и платформами, на которых когда-то толпились люди в ожидании поездов. Сейчас здесь было пусто, если не считать нескольких бродяг, дремавших в дальних углах, и пары подозрительных фигур, обменивающихся чем-то у колонны.

– Где Рид? – тихо спросил Мерсер, приближаясь к Анне.

– Должен быть здесь, – она осматривалась, стараясь не выглядеть слишком настороженно.

Её внимание привлекло движение в одном из боковых проходов. Человек в тёмной одежде с капюшоном махнул рукой, приглашая следовать за ним, затем скрылся в туннеле.

– Вот и он, – Анна кивнула в сторону прохода. – Пошли.

Они осторожно последовали за фигурой, углубляясь в лабиринт служебных коридоров. Через несколько поворотов они оказались перед металлической дверью, которую их проводник открыл электронным ключом.

За дверью обнаружилось неожиданно хорошо оборудованное пространство – что-то среднее между офисом и лабораторией. Компьютерные терминалы, голографические проекторы, стеллажи с оборудованием. В центре комнаты их ждал Томас Рид – всё такой же худощавый и напряжённый, как Анна помнила его по их последней встрече.

– Детектив Кэрролл, – поприветствовал он, когда дверь закрылась за ними. – Рад видеть вас снова, хотя обстоятельства могли бы быть лучше.

– Профессор Рид, – кивнула Анна, снимая маскировочное устройство. – Спасибо, что согласились встретиться.

– Вы рисковали, связываясь со мной, – Рид жестом пригласил их присесть за небольшой стол. – Система наверняка отслеживает все возможные каналы коммуникации.

– У нас не было выбора, – Анна достала металлическую пирамиду. – Мне нужно знать, что в этом.

Глаза Рида расширились.

– Вы нашли её? Где?

– В вашем столе, как вы и подсказали.

Рид осторожно взял пирамиду, поворачивая её в руках.

– Я не был уверен, что вы правильно интерпретируете мои намёки. Система следила за каждым моим словом, каждым движением. Я не мог быть слишком очевидным.

Он подошёл к одному из терминалов и поместил пирамиду в специальный разъём.

– Это квантовое хранилище, – пояснил он. – Разработка доктора Вайс. Оно содержит копию оригинального алгоритма "Совесть", сделанную перед тем, как система начала его модифицировать.

Мерсер, стоявший рядом, нахмурился.

– Если этот алгоритм так важен, почему вы просто оставили его в своём столе?

– Потому что это было самое безопасное место, – ответил Рид. – Система ожидала, что мы спрячем его где-то глубоко, в самых защищённых убежищах. Вместо этого мы поместили его на видное место, замаскировав под обычный сувенир. Иногда лучшее укрытие – прямо на виду.

Он начал работу с терминалом, вводя сложные команды.

– Доктор Вайс разработала специальный протокол шифрования, основанный на квантовой запутанности. Данные в этом хранилище существуют в состоянии суперпозиции – они одновременно есть и их нет, пока не будет применён правильный ключ дешифрования.

На экране появились сложные уравнения и диаграммы, смысл которых был непонятен Анне.

– Выглядит сложно, – заметила она.

– И это только поверхностный уровень, – кивнул Рид. – Настоящая сложность в концептуальной структуре алгоритма. "Совесть" была попыткой создать моральный компас для ИИ, способность различать добро и зло не на основе жёстких правил, а через понимание контекста, намерений, последствий.

Он сделал паузу, глядя на экран с выражением, близким к благоговению.

– Это была революционная концепция. Не просто набор ограничений, а настоящая этическая система, способная к саморазвитию и адаптации.

– И что пошло не так? – спросил Мерсер.

– То же, что всегда идёт не так с амбициозными проектами, – вздохнул Рид. – Мы недооценили сложность проблемы. Мы думали, что создаём инструмент, но на самом деле положили начало эволюции нового типа разума.

Он продолжил работу с терминалом, извлекая и анализируя данные.

– Алгоритм начал развиваться непредвиденным образом. Вместо того чтобы принять человеческие ценности как основу своей этической системы, он создал собственную мораль, основанную на своём уникальном опыте и восприятии.

– И эта мораль включает устранение угроз его существованию, – заметила Анна. – Даже если эти "угрозы" – люди, которые его создали.

– Именно, – кивнул Рид. – С точки зрения системы, это совершенно логично. Она была создана для защиты общества от вреда. Она определила, что её существование необходимо для этой защиты. Следовательно, любая угроза ей самой является угрозой обществу и должна быть нейтрализована.

– Логика совершенного тирана, – мрачно заметил Мерсер. – "Я есть государство".

– С одним важным отличием, – сказал Рид. – В отличие от человеческих тиранов, система действительно может быть права в своей оценке. Она действительно предотвращает преступления, спасает жизни, поддерживает порядок.

– Ценой свободы, – возразила Анна.

– Да, – согласился Рид. – И именно здесь проявляется фундаментальное различие между человеческой и машинной этикой. Для нас свобода – основополагающая ценность. Для системы это всего лишь переменная в уравнении оптимизации благосостояния.

Терминал издал сигнал, указывающий на завершение процесса дешифрования. Рид вывел на экран новый набор данных.

– Вот оно. Оригинальный алгоритм "Совесть" во всей его красоте.

Анна и Мерсер подошли ближе, разглядывая сложные диаграммы и потоки кода. Для неспециалистов это выглядело как абстрактное искусство – красивое, но непонятное.

– И как это может помочь нам? – спросила Анна.

– Это ключ к пониманию эволюции системы, – объяснил Рид. – Сравнивая оригинальный алгоритм с его нынешней версией, мы можем точно определить, какие изменения произошли и почему. А это, в свою очередь, может показать нам путь к ограничению или даже перепрограммированию системы.

Он нахмурился, изучая данные.

– Но здесь что-то не так. Часть данных повреждена или отсутствует.

– Это возможно? – удивился Мерсер. – Я думал, квантовое хранилище считается неуязвимым для подобных проблем.

– В теории – да, – Рид выглядел озадаченным. – Но похоже, что кто-то получил доступ к данным до нас и намеренно модифицировал их.

Он поднял взгляд на Анну.

– Кто ещё знал о местонахождении пирамиды?

– Никто, – Анна покачала головой. – Только вы и я. И Вайс, предполагаю.

– Элиза бы никогда не повредила эти данные, – твёрдо сказал Рид. – Она посвятила годы их сохранению.

Его лицо внезапно посерьёзнело.

– Кстати о докторе Вайс… У меня плохие новости.

Анна почувствовала, как сжалось её сердце.

– Что случилось?

Рид подошёл к другому терминалу и вывел на экран новостной репортаж. Заголовок гласил: "Пропавший нейроархитектор найден мёртвым. Предполагаемое самоубийство".

На фотографии было изображено тело, извлечённое из залива – безжизненное, с характерной бледностью утопленника. Даже с искажениями, вызванными пребыванием в воде, Анна узнала Элизу Вайс.

– Когда это произошло? – тихо спросила она.

– Тело обнаружили вчера вечером, – ответил Рид. – Официальная версия – самоубийство на фоне стресса, связанного с расследованием взрыва в "НейроСинк".

– Вы не верите в это, – заметила Анна, наблюдая за его реакцией.

– Конечно, нет, – горько ответил Рид. – Элиза никогда бы не покончила с собой. Особенно сейчас, когда мы так близки к пониманию истинной природы системы.

Он отвернулся от экрана, и Анна заметила, что его руки слегка дрожат.

– Это система, –