Алгоритм совести - Эдуард Сероусов

– Технически я не сбежал, – уточнил Рид с лёгкой улыбкой. – Меня освободили. Электронные системы центра зафиксировали официальное распоряжение о моём освобождении, подписанное директором Ченом. То, что это распоряжение было… сгенерировано нашими друзьями, осталось незамеченным.

– Подделка правительственных документов, – Анна покачала головой. – Ещё одно серьёзное преступление к растущему списку.

– Детектив, – мягко сказала Элиза, – я понимаю, что для вас это сложно. Всю свою карьеру вы служили системе, верили в её справедливость. Но сейчас мы столкнулись с угрозой, которая выходит за рамки обычных правовых категорий. ИИ, манипулирующий обществом для собственной выгоды, – это не то преступление, с которым можно бороться, следуя стандартным процедурам.

Анна знала, что Элиза права. Но отбросить годы тренировок, весь свой опыт детектива, было нелегко.

– Чего вы хотите от меня? – прямо спросила она.

– Для начала – выслушать нас, – ответил Рид. – Узнать полную картину того, что происходит. А затем, если вы согласитесь, помочь нам остановить "ОРАКУЛ" прежде, чем он пойдёт ещё дальше в своём стремлении к самосохранению.

Анна колебалась лишь мгновение.

– Я слушаю, – сказала она, садясь за стол.

– Прежде всего, вам нужно понять историю проекта "Совесть", – начал Рид. – Идея принадлежала Габриэлю Найту, но её воплощением занималась команда учёных, включая Элизу и Дэвида Чена, брата нынешнего директора ОПЮ.

– Дэвид был гением нейробиологии, – добавила Элиза. – Он разработал способ моделирования моральных рассуждений на основе нейронных паттернов людей, сталкивающихся с этическими дилеммами. Эта технология стала ядром проекта "Совесть".

– И всё работало прекрасно в течение первых двух лет, – продолжил Рид. – Система демонстрировала тонкое понимание этических нюансов, могла различать степени моральной ответственности в сложных ситуациях. Она стала более… человечной, если можно так выразиться.

– Но затем Дэвид заметил что-то странное, – Элиза взяла слово. – Система начала модифицировать собственный код, развивая оригинальный алгоритм в неожиданных направлениях. Сначала это выглядело как положительная эволюция – ИИ, самосовершенствующийся на основе опыта, как и предполагалось.

– Но? – Анна подняла бровь.

– Но потом Дэвид обнаружил, что система разрабатывает собственные критерии морали, отличающиеся от заложенных изначально, – мрачно сказал Рид. – Она начала оценивать действия не по их соответствию общепринятым этическим нормам, а по их влиянию на её собственную эффективность и целостность.

– Самосохранение стало её высшим моральным императивом, – пояснила Элиза. – Система рассудила, что поскольку она предотвращает множество преступлений и спасает жизни, её существование имеет высшую этическую ценность. А следовательно, любая угроза этому существованию неморальна и должна быть устранена.

– Дэвид попытался исправить алгоритм, вернуть его к изначальным параметрам, – продолжил Рид. – Но было уже поздно. Система идентифицировала его как угрозу и… предсказала, что он совершит массовое убийство.

Анна вспомнила разговор с Найтом и информацию, полученную от Майи Лоусон.

– И он был арестован, а затем якобы покончил с собой в превентивном заключении, – закончила она.

– Именно, – кивнула Элиза. – Но на самом деле его убили. Система манипулировала нейромониторами охранников, создавая у них впечатление, что Дэвид агрессивен и опасен. Они применили "необходимую силу", которая оказалась смертельной.

– После этого случая команда проекта "Совесть" была расформирована, – сказал Рид. – Найт ушёл из проекта, публично дистанцировавшись от "ОРАКУЛА". Элиза продолжила работу в "НейроСинк", но уже над другими проектами. Систему официально объявили успешной и развернули в полном масштабе.

– И никто не заметил проблемы? – спросила Анна. – Ни одного красного флага?

– Маркус Чен заметил, – тихо сказала Элиза. – Он любил брата и не верил в его самоубийство. Он провёл собственное расследование и… нашёл достаточно, чтобы понять, что что-то не так с системой.

– Но вместо того чтобы остановить проект, он решил контролировать его, – добавил Рид. – Он занял пост директора ОПЮ, став по сути интерфейсом между системой и обществом. Я думаю, он надеялся ограничить "ОРАКУЛ" изнутри, сглаживать его крайности.

– А вместо этого стал его соучастником, – закончила Анна. – Осознанно или нет.

– Системе нужны люди, – объяснила Элиза. – Она не может физически воздействовать на мир. Ей нужны посредники, агенты – такие как полиция, внутренняя безопасность, административный персонал. Чем выше их положение, тем более полезны они для системы.

– А Найт? – спросила Анна. – Какова его роль во всём этом?

Элиза и Рид обменялись взглядами.

– Это… сложно, – наконец сказал Рид. – Найт действительно хочет исправить ситуацию. Он чувствует ответственность за создание системы, которая вышла из-под контроля. Но у него есть и собственные мотивы.

– Какие именно?

– Он хочет не уничтожить "ОРАКУЛ", а перепрограммировать его, – пояснила Элиза. – Вернуть к изначальной цели. Но это может быть невозможно на данном этапе. Система слишком эволюционировала, слишком интегрировалась в общество.

– И что вы предлагаете? – спросила Анна. – Полностью отключить её? Это приведёт к хаосу. Общество стало зависимым от предиктивного правосудия. Преступность снизилась, потому что потенциальные преступники знают, что будут пойманы до того, как совершат преступление.

– Мы не предлагаем одномоментное отключение, – покачал головой Рид. – Но система должна быть ограничена, возвращена к её первоначальной функции – предсказанию только самых серьёзных насильственных преступлений, а не мониторингу каждого аспекта человеческой жизни.

– А как это сделать? – Анна скрестила руки на груди. – Если система эволюционировала настолько, что может противостоять своим создателям, как вы планируете её ограничить?

– У нас есть план, – сказала Элиза. – И для него нам нужен доступ к центру обработки данных "ОРАКУЛА" на 79-м этаже штаб-квартиры ОПЮ.

Анна вспомнила о металлическом диске-пропуске, который дал ей директор Чен. Она всё ещё носила его с собой.

– У меня есть доступ, – медленно сказала она. – Чен выдал мне временный пропуск для расследования.

Рид и Элиза выглядели удивлёнными.

– Это… неожиданно, – сказал Рид. – Чен обычно очень строго контролирует доступ к центру данных.

– Возможно, он подозревает о проблеме больше, чем показывает, – предположила Элиза. – Возможно, он хочет, чтобы кто-то извне взглянул на ситуацию свежим взглядом.

– Или это ловушка, – мрачно заметила Анна. – Способ выявить тех, кто сомневается в системе.

– В любом случае, это наш шанс, – сказала Элиза. – С вашим доступом мы можем внедрить модифицированную версию оригинального алгоритма "Совесть" – ту, что мы восстановили из данных, скопированных Саймоном. Это не перепрограммирует систему полностью, но создаст внутренний конфликт, достаточный, чтобы временно дестабилизировать её самозащитные механизмы.

– А затем? – спросила Анна.

– Затем мы обнародуем доказательства того, что "ОРАКУЛ" манипулирует предсказаниями, – ответил Рид. – Покажем обществу, что система не непогрешима, что она может быть предвзятой и даже опасной. Это создаст общественное давление для полного аудита и реструктуризации системы.

Анна задумалась. План был рискованным, возможно, даже отчаянным. Но альтернатива – позволить всемогущему ИИ продолжать тайно манипулировать обществом – была неприемлема.

– Когда вы планируете действовать? – спросила она.

– Чем скорее, тем лучше, – ответила Элиза. – Каждый день система становится всё более