Таинственные ответы на таинственные вопросы - Элиезер Юдковски

Мораль этой басни в том, что плохая гипотеза должна ловко маневрировать, чтобы избежать опровержения. Но я рассказываю эту историю, не для того же, что и Карл Саган. Я хочу проиллюстрировать другую идею.

Где-то в недрах разума Кредеруса явно хранится правильная модель ситуации, поскольку он заранее ожидает определённых результатов всех этих проверок (а именно — таких результатов, которые ему придётся оправдывать).

Некоторые философы запутываются в подобных сценариях, не понимая, верит ли Кредерус в дракона, или всё-таки нет. Можно подумать, что в человеческом мозге мало места, и храниться может только одно убеждение за раз! Реальный разум намного сложнее. Как я уже говорил, убеждения бывают разными, не все можно назвать «прямыми ожиданиями сенсорных ощущений». Кредерус явно не ожидает увидеть в гараже ничего необычного, иначе он не оправдывался бы заранее. Также возможно, что в его фонде словесных убеждений хранится «В моём гараже живёт дракон». Рационалисту может показаться, что эти два убеждения должны конфликтовать друг с другом, даже несмотря на то, что они разных видов. Но, тем не менее, если написать «небо зелёное» на фотографии синего неба, то бумага и не подумает исчезать в языках пламени.

Добродетель эмпиризма должна не позволить нам совершать подобные ошибки. Рационалисты должны постоянно выяснять, какие переживания предсказывают их убеждения — требовать, чтобы убеждения окупались. Но проблема Кредеруса лежит глубже, и её не исцелить этим простым советом. Довольно просто соединить убеждение в драконе с ожидаемым наблюдениям гаража: если ты веришь в живущего в гараже дракона, то ты, открыв дверь, рассчитываешь увидеть этого дракона. Если ты не видишь дракона, то это означает, что в гараже дракон не живёт. Действия довольно просты. Ты даже можешь попытаться повторить это со своим гаражом.

Но нет, эта невидимость — симптом чего-то похуже.

Возможно, ты помнишь тот момент из детства, когда ты уже начал сомневаться в существовании деда Мороза, но ещё* считал правильным* верить в деда Мороза, и поэтому пытался отвергнуть сомнения. Дэниел Деннет заметил: когда трудно верить в X, намного легче верить в то, что ты обязан верить в X. Как можно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное? Это фраза вводит в замешательство; непонятно, что это означает в смысле ожидаемых переживаний, непонятно, во что именно ты бы верил, если бы верил. Намного проще поверить в то, что правильно, хорошо, добродетельно и полезно верить в то, что Первичное Космическое Небо одновременно полностью зелёное и полностью синее. Деннет называет это «верой в убеждение» (того же термина буду придерживаться и я).

Ну и затем, раз мы имеем дело с человеческим разумом, всё как обычно усложняется. Думаю, что даже Деннет слишком сильно упростил то, как эта психологическая уловка работает на практике. К примеру, если человек верит в убеждение, то он не может признаться себе в том, что он просто верит в убеждение: ведь добродетельно верить, а не верить в убеждение, следовательно если ты веришь в убеждение, а не просто веришь, то ты не добродетелен. Никто не скажет (даже про себя): «Я не считаю, что Первичное Космическое Небо одновременно синее и зелёное, но я считаю, что мне следует так считать», разве что этот человек необычайно хорошо умеет признавать свои недостатки. Люди не верят в веру в убеждения, они просто верят в убеждения.

(если вы находите предыдущий абзац сложным для понимания, попробуйте поизучать математическую логику, которая учит остро различать такие вещи, как утверждение P, доказательство P и доказательство того, что P доказуемо. Такие же коренные различия есть и между P, желанием P, вере в P, желанием верить в P и верой в то, что ты веришь в P.)

Вера в убеждения бывает разной. Она может быть явной: человек осознанно повторяет про себя «Добродетельно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное» (и при этом считает, что он в это верит, разве что этот человек необычайно хорошо умеет признавать свои недостатки). Бывают и менее бросающиеся в глаза формы. Возможно, Кредерус боится публичного осмеяния, которое, как он считает, неизбежно последует, если он публично признает, что был неправ (хотя, фактически, любой рационалист искренне порадуется за него, а остальные будут скорее высмеивать Кредеруса, если он, отнюдь, продолжит заявлять о драконе, живущем в гараже). Возможно, Кредеруса передёргивает от перспективы признаться себе в том, что дракона нет (точно также, как его передёргивало бы от физической боли): это противоречит его представлению о себе как о победителе-первооткрывателе, увидевшем в своём гараже то, что упустили все остальные.

Будь все наши мысли теми осознанными предложениями на естественном языке, которыми обычно манипулируют философы, человеческий мозг был бы намного проще для понимания. Быстро утекающие мысленные образы, невысказанные вспышки боли, исполняемые без сознательного ведома желания — всё это составляет такую же часть личности, как и слова.

Несмотря на то, что я не соглашаюсь с Деннетом касательно некоторых деталей и тонкостей, я всё равно считаю, что введённое им понятие вера в убеждение — ключ к понимаю Кредеруса. Однако, необходимо более широко трактовать понятие «убеждения», не ограничивать его вербальными утверждениями. «Убеждение» может быть невысказанным контроллером ожиданий. «Вера в убеждение» может быть невербальным направляющим когнитивного поведения. С точки зрения психологии, утверждение «Кредерус не убеждён в том, что в его гараже живёт дракон; но он убеждён в том, что полезно быть убеждённым в существовании дракона в гараже» в лучшем случае нереалистично. Но вполне допустимо сказать, что Кредерус рассчитывает на отсутствие дракона, и оправдывается, словно он убеждён в наличии дракона.

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы человека передёргивало от мысли отказаться от убеждения о драконе — или чтобы его передёргивало от мысли изменить представление о себе как о верящем в дракона — совсем необязательно, чтобы он явно думал «Я хочу верить в дракона, живущем в моём гараже». Обязательно лишь передёргиваться от перспективы признаться себе в своей неправоте.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона, и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могло бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Перевод:

BT

http://lesswrong.com/lw/i4/belief_in_belief/

Байесианское дзюдо

Элиезер Юдковский

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждениях.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу.»

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил: