Российская Академия Наук - Алексей Турчин

Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.

Плавный переход. Превращение государства в ИИ

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом, а ранее Гоббсом. Есть также интересная теории Лазарчука и Лелика о «Големах» и «Левиафанах» - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.

Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.

Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо ). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» .

По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.

Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

«Восстание» роботов

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго их захватив.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант – восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов.

Контроль и возможность истребления

Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

• Криво запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности.)

• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

• ИИ сломается и сойдёт с ума.

• ИИ решится на опасный физический эксперимент.

• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.

ИИ и государства

ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ , однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.