Искусственный ты. Машинный интеллект и будущее нашего разума - Сьюзан Шнайдер

решения, является ли та или иная сущность личностью и есть ли у нее «я», находится сознание. Искин может быть сверхразумным и превосходить людей по всем когнитивным и перцептивным аспектам, но, если он не ощущает себя искином, нам трудно считать, что эти создания обладают такой же ценностью, что и самосознающие существа, которые имеют «я» и являются личностями. И наоборот, в наличии или отсутствии у искина сознания кроется ключ к тому, как он оценивает нас: самосознающий искин может распознать у нас способность к осознанным переживаниям.

Ясно, что вопрос машинного сознания принципиально важен для того, как люди будут реагировать на обнаружение сверхразумных инопланетян. Один из путей препарирования последствий контакта человечеством – обращение к религии. И хотя я не уверена, могу ли говорить от имени всех мировых религий, разговоры с коллегами, работающими в Центре теологических исследований в Принстоне, позволяют предположить, что многие из них отвергли бы идею о том, что искины имеют душу или созданы по образу и подобию Бога, в случае отсутствия у них сознания. Папа римский Франциск не так давно заметил, что согласился бы крестить инопланетянина[86]. Хотела бы я знать, как отреагировал бы он на просьбу окрестить искина, тем более такого, который не способен обладать сознанием.

Вопрос о том, нравятся ли инопланетянам закаты или есть ли у них душа, нельзя считать просто плодом романтического любопытства – для нас это экзистенциальный вопрос. Ведь даже если во Вселенной полно искинов невероятного интеллекта, то с чего бы этим машинам придавать какую-то ценность самосознающим биологическим разумам? Не обладающие сознанием машины не могут осознанно воспринимать мир, а не имея осознанности, они, возможно, не способны на подлинную эмпатию или хотя бы на рассудочную заботу о более примитивных существах.

Сверхразум на основе биологического образца

До сих пор я мало говорила о структуре сверхразумного инопланетного сознания. Причина проста: сверхразум по определению превосходит человеческий разум во всех отношениях. Мы не в состоянии предсказать или до конца понять, как такой разум мыслит. Тем не менее у нас все же есть возможность обрисовать несколько важных его характеристик, по крайней мере в общих чертах.

В недавней книге Ника Бострома внимание сосредоточено на развитии сверхразума на Земле, но мы можем извлечь немало полезного из его вдумчивого рассказа. Бостром различает три типа сверхразума.

Скоростной сверхразум: сверхразум, обладающий крайне быстрой когнитивной и перцептивной реакцией. Например, даже эмуляция человека или загрузка его разума в компьютер позволили бы, в принципе, работать так быстро, что на написание кандидатской диссертации потребовался бы всего час.

Коллективный сверхразум: отдельные единицы его не обязательно сверхразумны, но коллективно они намного превосходят интеллект любого отдельного человека.

Качественный сверхразум: интеллект, который производит вычисления по крайней мере со скоростью мысли людей и, кроме того, умнее людей во всех отношениях[87].

Бостром указывает, что каждый из этих типов сверхразума может существовать наряду с другими.

Большой вопрос, можно ли назвать общие цели, разделяемые всеми типами сверхразума. Бостром предлагает следующий тезис:

Тезис ортогональности: интеллект и конечные цели ортогональны – «любой уровень интеллекта может, в принципе, сочетаться с любой конечной целью»[88].

Проще говоря, одно то, что искин умен, не гарантирует наличия у него объективного восприятия; интеллект сверхразумного существа может быть направлен на абсурдные цели. (Это немного напоминает мне академическую политику, в которой так много интеллекта растрачивается впустую, на мелкие и даже извращенные цели.) Бостром не забывает подчеркнуть, что можно придумать огромное количество самых невероятных типов сверхразума. В какой-то момент он приводит отрезвляющий пример сверхразума, управляющего фабрикой канцелярских скрепок. Его конечная цель – производство этих самых скрепок[89]. Хотя поначалу это может показаться безобидным делом (но вряд ли стоящим того, чтобы положить на него жизнь), суть отрезвляющего замечания Бострома состоит в том, что сверхразум способен потратить на достижение этой цели все ресурсы Земли, стерев попутно с ее лица биологическую жизнь.

Пример со скрепками наглядно показывает, что сверхразум может быть непредсказуемым, а его мышление – «чрезвычайно чуждым» для нас[90]. Хотя конечные цели сверхразума сложно предсказать, Бостром выделяет несколько инструментальных целей, которые поддерживают совершенно любую конечную цель.

Тезис инструментальной конвергенции: «Можно назвать несколько инструментальных целей, которые являются конвергентными, т. е. повышающими шансы на реализацию широкого круга конечных целей в широком диапазоне ситуаций. Таким образом, эти инструментальные цели с большой вероятностью будут преследоваться всеми разумными агентами в соответствующих обстоятельствах»[91].

Целями, которые называет Бостром, являются приобретение ресурсов, техническое совершенствование, когнитивное развитие, самосохранение и целостность целей (т. е. преследование будущим «я» сверхразумного существа тех же целей). Он подчеркивает, что самосохранение может быть групповым или индивидуальным и стоять на втором месте после сохранения представителей вида, для обслуживания которого искин был разработан.

В своей книге Бостром не рассуждает о сверхразумных инопланетянах, но его рассказ наводит на размышления. Назовем инопланетный сверхразум, разработанный путем обратного проектирования инопланетного мозга, включая его загрузку в компьютер, «инопланетным сверхразумом на основе биологического образца». Хотя такие сверхразумы создаются первоначально по образу и подобию мозга оригинального биологического вида, от которого произошел данный сверхразум, их алгоритмы могут отходить от алгоритмов биологической модели в любом пункте.

Сверхразумы на основе биологических образцов представляют особый интерес в контексте инопланетных цивилизаций, поскольку образуют специфический класс в спектре возможных искинов. Если Бостром прав и сверхразум может быть создан разными способами, совокупность сверхразумных искинов будет очень неоднородной, а ее представители в среднем будут мало напоминать друг друга. Может оказаться даже, что из всех сверхразумных искинов те, что созданы на основе биологических образцов, сильнее всего похожи друг на друга благодаря своим биологическим корням. Иными словами, такие сверхразумы могут оказаться самой сплоченной подгруппой, поскольку другие представители сильно отличаются друг от друга. Возможно, это вообще самая распространенная форма инопланетного сверхразума.

Можно предположить, что сверхразумы на основе биологических образцов рассеяны по Галактике и созданы множеством разных биологических видов, а потому малоинтересны. Можно сказать также, что бесполезно теоретизировать на их счет, поскольку они способны менять свою архитектуру непредсказуемым образом, а любые биологически обусловленные мотивации ограничиваются программно. Однако у инопланетных сверхразумов на основе биологических образцов есть две черты, которые могут породить общие когнитивные способности и цели.

1. Эти сверхразумы происходят от существ, у которых когда-то были такие мотивации, как поиск пищи, избегание травм и хищников, продолжение рода, сотрудничество и конкуренция.

2. Формы жизни, по образу которых созданы эти сверхразумы, в процессе