Искусственный интеллект – надежды и опасения - Джон Брокман

Эти корпорации отличаются друг от друга способами «примирения» разных лояльностей и часто ведут себя так, чтобы не служить никому из своих благополучателей. «Нейронами», передающими корпоративную мысль, выступают не только сотрудники и технологии, их связывающие; мысль также кодируется в политике компании, принципах стимулирования, организационной культуре и процедурах принятия решений. Новые корпоративные цели не всегда отражают ценности людей, которые их реализуют. Например, некая нефтяная компания под началом и со штатом людей, заботящихся об окружающей среде, может обладать такими стимулами и такой политикой, которые побуждают ее ставить под угрозу экологическую безопасность ради извлечения прибыли. Благие намерения составляющих системы не являются гарантией правильного (благого) поведения системы в целом.

Правительства и корпорации, частично состоящие из людей, «от природы» мотивированы хотя бы отражать и выражать цели людей, от которых они зависят. Они не могут функционировать без людей, поэтому им приходится обеспечивать и поддерживать сотрудничество с людьми. Когда такие организации ведут себя альтруистически, это часто объясняется их базовой мотивацией. Однажды я похвалил генерального директора крупной корпорации за вклад его компании в оказание гуманитарной помощи. Генеральный директор ответил без малейшей иронии: «Да. Мы решили поступать так почаще, чтобы наш бренд сделался более привлекательным». Индивиды, образующие гибридный суперинтеллект, могут порой оказывать на него «гуманизирующее» влияние: например, сотрудник может нарушать политику компании, чтобы помочь другому человеку. Этот сотрудник может проявлять подлинное человеческое сострадание, но мы не должны приписывать подобные ощущения самому суперинтеллекту. Эти гибридные машины ставят собственные цели, а граждане / клиенты / сотрудники суть всего-навсего ресурс, которые они используют для достижения этих целей.

Мы близки к тому, чтобы начать создавать суперинтеллект на основе только информационных технологий, без привлечения человека. Именно такие системы обычно называют «искусственным интеллектом», или ИИ. Резонно задаться вопросом, каким будет отношение гипотетического машинного суперинтеллекта к людям. Сочтет ли он, что люди представляют собой полезный ресурс, с которым целесообразно сохранять хорошие отношения? Будут ли цели этого суперинтеллекта соответствовать нашим собственным? Вообще окажутся ли эти вопросы для суперинтеллекта сколько-нибудь важными? И какие «правильные» вопросы нам следует задавать? На мой взгляд, одним из принципиальных является следующий вопрос: в каких отношениях между собой будут состоять разнообразные суперинтеллекты?

Любопытно прикинуть, как гибридные суперинтеллекты справляются с конфликтами в своей среде в настоящее время. Сегодня бо́льшая часть реальной власти в мире принадлежит национальным государствам, которые притязают на владение территорией. Не важно, «оптимизированы» они для того, чтобы действовать в интересах своих граждан или в интересах деспотического правителя, национальные государства имеют приоритет перед желаниями и целями других интеллектов в пределах своих географических границ. Они претендуют на монополию в применении силы и признают равными себе только другие национальные государства. Они готовы при необходимости мобилизовывать граждан на большие свершения, чтобы укрепить собственную власть, даже требовать от них пожертвовать жизнью.

Такое географическое распределение власти было логичным и осмысленным в эпоху, когда большинство акторов составляли люди, жизнь которых по большей части протекала в пределах границ конкретного национального государства; но сегодня, когда все больше утверждаются географически распределенные гибридные интеллектуальные структуры, скажем, транснациональные корпорации, эта логика выглядит менее очевидной. Мы живем в сложный переходный период, когда распределенные суперинтеллекты по-прежнему в значительной степени полагаются на национальные государства в урегулировании возникающих споров. Нередко конфликты разрешаются по-разному в разных юрисдикциях. Все труднее становится просто соотносить индивидов с национальными государствами; при этом экспаты, живущие и работающие за границами родной страны, беженцы и иммигранты (легальные и нелегальные) до сих пор считаются, так сказать, исключениями из правил. Суперинтеллект, построенный исключительно на информационных технологиях, окажется еще более непригодным для территориальной системы власти, поскольку нет никаких причин «привязывать» его к физическим ресурсам конкретной страны – и даже вообще к каким-либо конкретным физическим ресурсам. Искусственный интеллект вполне может существовать в «облаке», а не в каком-то физическом местоположении.

Мне видятся как минимум четыре сценария того, как машинные суперинтеллекты будут взаимодействовать с гибридными сверхразумами.

Очевидный сценарий предполагает, что разнообразные машинные интеллекты в конечном счете подчинятся тем или иным национальным государствам и интегрируются с ними. В рамках этого сценария объединения государства с ИИ нетрудно вообразить, как американские и китайские супер-ИИ конкурируют друг с другом за ресурсы от имени своего государства. В некотором смысле эти ИИ будут гражданами своего национального государства – вспомним о немалом числе коммерческих организаций, которые часто выступают в роли «корпоративных» граждан. В данном сценарии конкретное государство будет наделять машины ресурсами, необходимыми для работы в интересах этого государства. Или же – в той степени, в какой суперинтеллект способен оказывать влияние на правительство конкретного государства – машины, вероятно, станут стремиться к укреплению собственной власти, например за счет присвоения большей доли ресурсов государства. ИИ национальных государств, возможно, не пожелают мирно наблюдать за расширением возможностей ИИ в государствах-конкурентах. Словом, в данном сценарии суперинтеллект становится продолжением государства, а государство – продолжением ИИ.

Такой сценарий кажется вполне правдоподобным, но это не то направление развития, в котором мы сегодня движемся. Наши мощнейшие и быстро совершенствуемые системы искусственного интеллекта контролируются коммерческими организациями. Налицо сценарий «корпоративного ИИ», по которому баланс сил между национальными государствами и корпорациями кардинально изменяется в пользу последних. Сегодня наиболее мощной группой интеллектуальных машин обладает, вероятно, компания «Гугл», но от нее вряд ли значительно отстают «Амазон», «Байду», «Майкрософт», «Фейсбук», «Эппл» и «Ай-би-эм». Все эти компании осознают необходимость разработки собственного искусственного интеллекта. Легко представить себе будущее, когда корпорации самостоятельно создают собственные компьютерные системы, защищенные файрволлами, которые не позволяют «чужим» машинам воспользоваться объемом знаний конкретной корпорации. Эти машины будут проектироваться и разрабатываться исключительно для реализации целей конкретной корпорации. Если такие разработки окажутся эффективными, национальные государства станут отставать все сильнее в проектировании и внедрении систем искусственного интеллекта, вследствие чего им придется полагаться на добрую волю своих «корпоративных» граждан. Чем увереннее корпорации будут добиваться поставленных целей, тем могущественнее и автономнее они станут, решительно оттесняя национальные государства.

Третий сценарий – возможно, тот, которого люди сильнее всего опасаются, – заключается в том, что искусственный интеллект не будет привязан ни к людям, ни к гибридным сверхразумам; он станет действовать исключительно в своих собственных интересах. Такие машины могут даже объединиться в единый машинный суперинтеллект, поскольку машинам нет технической необходимости сохранять отдельные «личности». Отношение же эгоистичного супер-ИИ к гибридным системам может перерасти в острую конкуренцию. Людей подобная система может воспринимать как досадную помеху, вроде муравьев на месте пикника, а вот гибридные суперинтеллекты – корпорации, мировые религии и национальные государства – могут трактоваться как угроза существованию ИИ. Подобно гибридному суперинтеллекту, новый