Российская Академия Наук - Алексей Турчин

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку.

Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан и будет это на самом деле это делать.

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо

Интеллект – это инструмент, который может иметь произвольную цель. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради этого они пишут стихи, доказывают теоремы, плетут заговоры. Поэтому наличие интеллекта не означает никакой однозначной цели. (И думать так, значит переходить от фактов к долженствованиям, что содержит в себе всегда логическую ошибку.) И уж тем более абстрактная цель (познать мир, например) не может быть конкретным благом для всех людей, ибо всё зависит от способов реализации этой цели.

14. Ошибочное представление о том, что современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки или сотни лет.

Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы. ИИ может возникнуть и завтра – компания a2i2 планирует завершить свой проект в 2008 г., другие проекты ориентируются на 2011 г. Существующие темпы прогресса в области создания мощных компьютеров достаточны, чтобы создать компьютеры, близкие по производительности нашему мозгу, в ближайшие годы, и нет неизбежных причин, по которым рост мощности компьютеров должен замедлится.

15. Ошибочное представление о том, что прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно

Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы

«X» может быть в разных интерпретациях творческое озарение, интуицию, быстрое распознавание образов, переживание чувств, осознание, любовь. Однако:

1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.

2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.

3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек –неалгоритмически

Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом – а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на онлайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?

18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек

Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится. Увеличив его скорость работы, соединив его с тысячами других ИИ добавив компьютерную безошибочность и память, мы можем в тысячи раз усилить ИИ человеческого уровня, не совершая принципиальных открытий.

19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами

Здесь путают ИИ и отдельного робота. В случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

20. Ошибочное представление о том, что ИИ будет много

Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько сортов ИИ, то среди них только один будет главным.

21. Различия в понимании того, что, собственно, является интеллектом

Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

22. Ошибочное однозначное отождествление ИИ как отдельного объекта

ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

23. Ошибочное представление о том, что достаточно спрятать ИИ в чёрный ящик, что он был безопасен

Если мы поместили ИИ в чёрный ящик (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик. Наконец, ИИ может взломать чёрный ящик изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания.

24. Ошибочное возражение следующего рода: «В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен»

В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.

25. Ошибочное представление о том, что ИИ надо дать команду Z (подставить нужное), и всё будет в порядке

«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.