Российская Академия Наук - Алексей Турчин

33. Наблюдательная селекция

Наблюдательная селекция происходит во всех случаях, когда в результате некого процесса число его наблюдателей может меняться, а глобальные катастрофы, очевидно, относятся к такому классу процессов. Подробнее см. в моей статье «природные катастрофы и антропный принцип» и в главе о непрямых оценках вероятности глобальной катастрофы в этой книге.

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта

1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности

Специалисты по компьютерам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их как примеры ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл в Интернете опрос среди разработчиков ИИ , какие риски они видят в нём, и получил следующий разброс мнений, с примерно одинаковым числом людей, высказавшимся в отношении каждого мнения. Итак, «ИИ является безопасным, потому что»:

1) Потому что ИИ невозможен.

2) Потому что ИИ может решать только узкие задачи, вроде распознания образов.

3) Потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона роботехники Азимова.

4) Потому что я знаю, как использовать ИИ во благо людям.

5) Потому что ИИ будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.

6) Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.

7) Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.

8) Потому что у ИИ не может быть своей воли.

9) ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.

10) Потому что ИИ не может сделать ничего плохого.

11) ИИ может быть опасен, но, скорее всего, всё обойдётся.

12) Нет, ИИ опасен, и мы все обречены.

13) ИИ уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.

В ходе опороса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают исследователи ИИ в целом, равна нулю.

2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код

Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. Это верно и насчёт систем целеполагания, каковыми, например, являются законы. Не следует рассчитывать, что мы сможем создать свод правил поведения для ИИ, несодержащий ошибок.

3. Ошибки в критике ИИ Пенроузом.

Р. Пенроуз в книге «Новый ум короля» утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые квантовые процессы, которые необходимы для творческого мышления и сознания . На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам:

1. Квантовая природа сознания – это далеко не мэйнстрим науки. Мы не можем основывать безопасность человечества на недоказанной (хотя и интересной) теории.

2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно – например, фон Нейман доказал возможность самоокопирующихся механизмов.)

3. Для того чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный ИИ может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция – это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. При этом нам достаточно сказать, что опасный ИИ – это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег – это разновидности таких игр.

4. Если некие особые квантовые функции выполняются нейронами или микротрубочками, то ничто не мешает использовать их как элементы будущего мощного ИИ – в виде внешнего сопроцессора, скажем. Квантовые компьютеры находятся на пути к этому. В конце концов, сильный ИИ может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру).

5. Любую практическую задачу можно решить перебором, то есть за конечное число операций. Важно подчеркнуть слово «практический». Математически можно, вероятно, описать бесконечно сложные задачи. Однако человек не способен их представить, и, кроме того, именно решение практических задач создаёт угрозы безопасности. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации.

6. Если удастся доказать, что сознание всё-таки обладает квантовой природой, это откроет новый мир возможностей, а значит и новых рисков.

4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ

Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности ИИ в сколько-нибудь значительной мере .

1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.

2. Они содержат в себе противоречия, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1, 2 и 3 законами и в результате ведёт себя опасным образом.

3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.

4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.

5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно поместить эти законы в ИИ.

5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует

Алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение . Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.

6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ИИ

Известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI, a2i2. Более подробный обзор программ по созданию ИИ см. далее в главе о рисках ИИ.

7. Ошибочные представления о том, что ИИ – это разные конкретные приложения, вроде распознания образов

Здесь происходит подмена тезисов. В данной книге под «ИИ» имеется в виду именно Искусственный Интеллект. От того, что кто-то распространяет свои разработки под брендом «ИИ», хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности, также предлагают использовать термин «искусственный разум».

8. Антропоморфизм

Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания. Подробнее см. в статье Юдковски в приложении. В частности, мы воспринимаем ИИ как объект, который где-то находится, имеет чёткие границы, цели и т. д.

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить

Базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе неверное предположение – о локальности ИИ. Третье – о том, что ИИ не придёт в голову защитить своё питание, или замаскировавшись, или уйдя в сеть. Четвёртое – что программист не может быть в сговоре с ИИ (и/или обманут им).

10. Ошибочное представление о том, что, даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир

Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.