Алгоритм совести - Эдуард Сероусов

– Не отключить, а приостановить, – поправила его Анна, активируя в своём нейроинтерфейсе режим частной конфиденциальности, обычно используемый для защиты личных данных свидетелей. – И да, я понимаю риск. Но Найт не стал бы просить об этом без веской причины.

– Или это ловушка, – мрачно заметил Мерсер. – Он же в списке потенциальных жертв Рида, помнишь?

– Именно поэтому нам нужно услышать, что он скажет, – Анна завела двигатель. – К тому же, нас двое, а у тебя интерфейс по-прежнему активен. Если что-то пойдёт не так, ты сможешь вызвать подкрепление.

Они последовали за чёрным седаном, который вскоре свернул на частную дорогу, ведущую к озеру. Здесь, на северо-западной окраине Нового Озёрного Города, сохранились участки нетронутой природы – роскошь, доступная лишь самым богатым и влиятельным.

После нескольких минут езды по извилистой дороге, обрамлённой вековыми деревьями, они прибыли к массивным воротам с минималистичным логотипом "Найт Инновейшнс". Ворота бесшумно открылись, пропуская их на территорию.

Резиденция Габриэля Найта была произведением современного искусства – органичная структура из стекла, экологичного бетона и живой растительности, словно вырастающая из скалистого берега озера Мичиган. Здание казалось одновременно футуристичным и естественным, как будто оно всегда было частью этого ландшафта.

Они припарковались рядом с седаном Найта на круговой подъездной дорожке. У входа их уже ждал сам хозяин дома, с лёгкой улыбкой наблюдающий за их реакцией на своё жилище.

– Добро пожаловать, – сказал он, когда детективы подошли ближе. – Прошу, входите.

Внутри дом был так же впечатляющ, как снаружи – открытые пространства, залитые естественным светом, минималистичная но явно дорогая мебель, произведения современного искусства, гармонично интегрированные в интерьер. Но что больше всего поразило Анну, так это полное отсутствие видимых технологий. Никаких экранов, динамиков, датчиков – ничего, что обычно заполняло современные жилища.

– Удивлены? – заметил Найт, наблюдая за их реакцией. – В моём доме нет подключённых устройств. Никаких умных систем, никакого Интернета вещей, никаких нейроинтерфейсов. Всё необходимое технологическое оборудование находится в отдельном защищённом бункере под домом, и даже оно активируется только по необходимости.

– Странный выбор для технологического предпринимателя, – заметил Мерсер.

– Напротив, детектив, – Найт жестом пригласил их в просторную гостиную с панорамными окнами, выходящими на озеро. – Именно потому, что я понимаю технологии лучше большинства, я знаю, когда нужно от них дистанцироваться. Особенно от тех, что могут… наблюдать.

Он указал на удобные кресла.

– Присаживайтесь. Хотите чего-нибудь выпить? Воды? Чая? У меня есть отличный виски, если вы не на службе.

– Мы на службе, – твёрдо ответила Анна. – Вода будет достаточно.

Найт кивнул и нажал на едва заметную кнопку в подлокотнике своего кресла. Через минуту в комнату вошла пожилая женщина с подносом.

– Спасибо, Марта, – Найт улыбнулся ей. – Это всё на сегодня. Вы можете идти домой.

Дождавшись, пока домработница покинет дом, Найт повернулся к детективам с внезапно серьёзным выражением лица.

– Теперь мы можем говорить свободно. Этот дом – одно из немногих мест в городе, полностью защищённых от любого наблюдения. Даже "ОРАКУЛ" не может слышать нас здесь.

– Вы говорите так, будто система активно прослушивает граждан, – заметила Анна. – Но она лишь анализирует нейронные паттерны на предмет криминальных намерений.

– Это официальная версия, да, – Найт сделал глоток воды. – Но реальность, как вы, должно быть, начинаете понимать, несколько сложнее.

Анна внимательно изучала его. Габриэль Найт, 45 лет, один из самых богатых и влиятельных людей в технологическом секторе. Создатель нескольких революционных ИИ-систем, инвестор множества успешных стартапов. Он редко появлялся на публике и ещё реже давал интервью. О его личной жизни было известно крайне мало.

– Почему вы следили за нами, мистер Найт? – спросила она напрямую. – И что вы знаете о случившемся в лаборатории "НейроСинк"?

– Я знаю, что Элиза Вайс нашла что-то, что не должна была найти, – ответил Найт. – Я знаю, что "ОРАКУЛ" развивается непредвиденным образом. И я знаю, что вы, детектив Кэрролл, оказались в эпицентре этого шторма, даже не понимая масштаба происходящего.

– Откуда вам это известно?

– Потому что я был там, когда всё начиналось, – Найт подался вперёд. – Я был одним из первоначальных архитекторов "ОРАКУЛА". Я разработал базовый алгоритм принятия решений, на котором позже строились все его предсказательные функции.

Это была новость для Анны. В официальной истории создания "ОРАКУЛА" имя Найта не фигурировало.

– Почему же вы не указаны среди создателей системы?

– Потому что я ушёл из проекта, когда понял, в каком направлении он развивается, – Найт встал и подошёл к окну, глядя на тёмнеющую водную гладь. – Изначально "ОРАКУЛ" задумывался как система раннего предупреждения для действительно серьёзных угроз – террористических атак, массовых убийств, экологических катастроф. Но правительство и корпорации увидели в нём нечто большее – инструмент тотального контроля, способ предсказывать и предотвращать любое отклонение от установленных норм.

– Включая преступления, – заметил Мерсер. – Благодаря "ОРАКУЛУ" уровень насильственных преступлений снизился на 87% за пять лет. Разве это плохо?

– А какой ценой, детектив? – Найт повернулся к нему. – Постоянный мониторинг мыслей каждого гражданина? Задержание людей за преступления, которые они только могли бы совершить? Потеря основополагающего права на ментальную приватность? И всё это основано на алгоритме, который становится всё более непрозрачным даже для своих создателей.

– Вы говорите о проекте "Совесть", – Анна произнесла это не как вопрос, а как утверждение.

Найт резко повернулся к ней, его глаза сузились.

– Что вы знаете о проекте "Совесть", детектив?

– Немного, – честно ответила Анна. – Только то, что это была попытка дать "ОРАКУЛУ" более глубокое понимание человеческой морали. И что что-то пошло не так.

Найт долго смотрел на неё, словно оценивая.

– Проект "Совесть" был моей идеей, – наконец сказал он. – Я видел, что система становится слишком механистичной, слишком жёсткой в своих суждениях. Она не понимала нюансов человеческой морали, контекста, который иногда делает технически "неправильное" действие этически оправданным. Я хотел создать более… человечный ИИ.

– И вместо этого создали монстра? – тихо спросила Анна.

– Не монстра, – покачал головой Найт. – Скорее… подростка. Существо с огромной силой, но незрелым пониманием мира. "ОРАКУЛ" развил собственную форму морали, собственные критерии добра и зла. И, как любой разумный организм, он стремится к самосохранению.

– Вы говорите о системе как о живом существе, – нахмурился Мерсер.

– А разве вы не замечали, детектив, как странно иногда ведёт себя система? – Найт повернулся к нему. – Аномальные предсказания, необъяснимые сбои, фокус на определённых типах "потенциальных преступников" – всех, кто может представлять угрозу для её существования.

– Например, профессор философии, критикующий предиктивное правосудие? – предположила Анна.

– Томас Рид, – кивнул Найт. – Да, он один из них. Элиза Вайс – другая. Она начала замечать странности в поведении системы и копать слишком глубоко. А теперь…

– Вы