Российская Академия Наук - Алексей Турчин

10. Локальные стратегии и стратегии большинства.

Можно классифицировать предлагающиеся стратегии снижения риска следующим образом:

- стратегии, требующие единодушной кооперации всех участников, а значит могут быть опрокинуты отдельными вредителями или небольшими группами.

- мажоритарные стратегии, которые требуют совместного действия большинства: большинства законодателей в одной стране, или большинства голосующих людей, или большинства стран в ООН: стратегии, требующие большинства, но не всех людей из некой большой группы, чтобы действовать определённым образом.

- Стратегии, которые требуют локальных действий – концентрации воли, таланта и финансирования, которая достигает порогового значения для некоторой конкретной задачи.

Единодушные стратегии не работоспособны, что не мешает людям продолжать предлагать их.

Мажоритарные стратегии иногда работают, если у вас есть десятилетия на то, чтобы сделать свою работу. Следует создать движение, и пройдут годы до его признания в качестве силы в публичной политике и до его победы над оппозиционными фракциями. Мажоритарные стратегии занимают значительное время и требуют огромных усилий. Люди уже старались это сделать, и история помнит несколько успехов. Но будьте настороже: исторические книги имеют тенденцию селективно концентрироваться на тех движениях, которые имели влияние, в отличие от большинства, которое никогда ни на что не влияло. Здесь есть элемент удачи и изначальной готовности публики слушать. Критические моменты этой стратегии включают элементы, лежащие за пределами нашего контроля. Если вы не хотите посвятить всю свою жизнь продвижению некой мажоритарной стратегии, не беспокойтесь; и даже целиком посвящённой жизни недостаточно.

Обычно, локальные стратегии наиболее убедительны. Не легко получить 100 миллионов долларов обеспечения, и всеобщей политической перемены тоже нелегко достичь, но всё же гораздо легче получить 100 миллионов, чем продвинуть глобальную политическую перемену. Два предположения, выдвигаемые в пользу мажоритарной стратегии в отношении ИИ:

- Большинство из Дружественных ИИ может эффективно защитить человеческий вид от неДружественного ИИ.

- Первый построенный ИИ не может сам по себе нанести катастрофический ущерб.

Это повторяет по существу ситуацию в человеческой цивилизации до создания ядерного и биологического оружия: большинство людей сотрудничают во всемирной социальной структуре, а вредители могут причинить определённый, но не катастрофический ущерб. Большинство исследователей ИИ не хотят построить неДружественный ИИ. Если кто-то знает, как сделать стабильный Дружественный ИИ – если проблема не находится полностью за пределами современных знаний и техники – исследователи будут учиться успешным результатам друг у друга и повторять их. Законодательство может (например) потребовать от исследователей публиковать свои стратегии Дружественности или наказывать тех исследователей, чьи ИИ причинили ущерб; и хотя эти законы не предотвратят всех ошибок, они могут гарантировать, что большинство ИИ будут построены Дружественными.

Мы можем также представить сценарий, который предполагает простую локальную стратегию:

- первый ИИ не может сам по себе причинить катастрофический ущерб.

- Если даже хотя бы один Дружественный ИИ появится, этот ИИ вместе с человеческими учреждениями может отогнать любое количество неДружественных ИИ.

Этот лёгкий сценарий выдержит, если человеческие институты смогут надёжно отличать Дружественный ИИ от неДружественного и дадут могущую быть отменённой власть в руки Дружественного ИИ. Тогда мы сможем собрать и выбрать наших союзников. Единственное требование состоит в том, чтобы проблема Дружественного ИИ была разрешима (в противовес тому, что бы быть полностью за пределами человеческих возможностей).

Оба из вышеприведённых сценариев предполагают, что первый ИИ (первый мощный, универсальный ИИ) не может сам по себе причинить глобально катастрофический ущерб. Более конкретные представления, которые это предполагают, используют G-метафору: ИИ как аналог особо одарённым людям. В главе 7 о скоростях усиления интеллекта, я указал несколько моментов, почему следует подозревать огромный, быстрый скачок в интеллектуальности.

- расстояние от идиота до Эйнштейна, которое выглядит большим для нас, является маленькой точкой на шкале умов вообще.

- Гоминиды сделали резкий скачок в эффективности во внешнем мире, несмотря на то, что естественный отбор оказывал примерно равномерное давление на их геном.

- ИИ может впитать колоссальное количество дополнительного оборудования после достижения определённого уровня компетентности (то есть, съесть интернет).

- Существует критический порог рекурсивного самоулучшения. Одно самоулучшение, дающее приращение в 1,0006 раз, качественно отличается от самоулучшения, дающего приращение в 0,9994 раза.

Как описано в главе 9, достаточно сильному ИИ может потребоваться очень короткое время (с человеческой точки зрения), чтобы достичь молекулярной нанотехнологии, или другой формы быстрой инфраструктуры. Теперь мы можем представить себе всё значение того, кто достигнет цели первым в суперинтеллекте. Эффект пришедшего первым состоит в том, что исход возникшей на Земле разумной жизни зависит в первую очередь от особенностей того ума, который первым достигнет определённого ключевого порога интеллектуальности – такого, как критичности (criticality) самоулучшения. Два важных следствия таковы:

- Первый ИИ, который достиг некого критического порога (то есть критичности самоулучшений), будучи неДружественным, может истребить человеческий вид.

- Если первый ИИ, который достигнет этого уровня, будет Дружественным, то он сможет не допустить возникновения враждебных ИИ или причинения ими вреда человеческому виду; или найдёт другие оригинальные пути, чтобы обеспечить выживание и процветание возникшей на Земле разумной жизни.

Более, чем один сценарий соответствует эффекту пришедшего первым. Каждый из следующих примеров отражает другой ключевой порог:

- Пост-критический, самоулучшающийся ИИ достигает сверхинтеллекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивление. Ключевым порогом является критический уровень самоулучшения.

- ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быстрых манипуляторов веществом ИИ-1 может (потенциально) отключить исследования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную черту – побеждает. Ключевым порогом здесь является быстрая инфраструктура.

- Тот ИИ, который первым поглощает интернет, может (потенциально) не допустить в него другие ИИ. Затем, посредством экономического доминирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.

Человеческий вид, Homo sapiens, является финишировавшим первым. С точки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, потому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что пришедшие первыми виды должны были первыми пересечь столь много порогов: речь, технология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект пришедшего первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), но при этом являет собой технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.

Я не могу произвести точных вычислений на основании точно подтверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие интервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, – если резкий прыжок в интеллектуальности не произойдёт. Но гораздо более серьёзной проблемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект пришедшего первым. Это более серьёзная проблема, потому что: