Таинственные ответы на таинственные вопросы - Элиезер Юдковски

Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)

Рассуждения об «эффекте знания задним числом» — это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.

Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.

Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.

Перевод:

BT

http://lesswrong.com/lw/is/fake_causality/

Семантические стоп-сигналы

Элиезер Юдковский

И ребёнок спросил:

— Откуда взялся этот булыжник?

— Я отломил его от большого камня в центре деревни.

— Откуда взялся этот камень?

— Наверное, он скатился с большой горы, что возвышается над нашей деревней.

— Откуда взялась эта гора?

— Оттуда же, откуда и все камни. Это кости Имира, изначального великана.

— Откуда появился изначальный великан Имир?

— Из мировой бездны по имени Гинунгагап.

— Откуда появилась мировая бездна Гинунгагап?

— Никогда этого не спрашивай.

Рассмотрим кажущийся парадокс первопричины. Наука отследила цепочку событий до Большого Взрыва, но отчего случился сам Большой Взрыв? Можно и нужно сказать, что Большой Взрыв произошёл в «ноль часов ноль минут», и поэтому нельзя говорить о времени «до Большого Взрыва», поскольку к этому понятию неприменима обычная концепция времени. Но, говоря так, мы используем существующие физические законы, которые звучат довольно структурировано, что тоже требует объяснений. Откуда появились физические законы? Можно ответить, что вся Вселенная является компьютерной симуляцией, но тогда это симуляция должна быть запущена в каком-то другом мире, подчиняющемся другим законам физики — а откуда взялись они?

После того, как вопросы доходят до этой стадии, некоторые люди отвечают «Бог!».

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал: это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертопианцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в обобщённый контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Главная черта семантического стоп-сигнала — нежелание рассмотреть следующий очевидный вопрос.

Перевод:

BT

http://lesswrong.com/lw/it/semantic_stopsigns/

Таинственные ответы на таинственные вопросы

Элиезер Юдковский

Представь, что ты глядишь на свою руку, ничего не зная ни о клетках, ни о биохимии, ни о ДНК. У тебя есть некоторые познания в анатомии, полученные путём препарирования, поэтому тебе ясно, что в ладони есть мышцы. Однако, ты не знаешь, почему они движутся, вместо того, чтобы неподвижно лежать, как кусок глины. Твоя рука — просто кусок… эмм… вещества, и почему-то этот предмет исполняет твои мысленные приказы. Разве это не волшебство?

«Животное тело не ведёт себя, как термодинамическая система… сознание говорит каждому человеку, что он является, в какой-то степени, предметом своей воли. Это проявляется в том, что живые существа могут мгновенно прикладывать к определённым движущимся частицам материи внутри своих тел силы, направляющие движение этих частиц, для того, чтобы создавать наблюдаемые механические эффекты… Вопрос о влиянии животной или растительной жизни на материю беспредельно далёк от любых научных изысканий, начатых до настоящего времени. Сила управлять движением материи, ежедневно проявляемая в чуде свободы воли человека, и в поколениях растений, выросших из единого зерна, безгранично непохожа на любой возможный результат движения атомов, каким бы удачным он не оказался… Современным биологам придётся запомнить ещё один принцип, и на этот раз — жизненно важный.» (Лорд Кельвин)