Обман в науке - Бен Голдакр

Это наш первый урок о том, насколько важно использовать статистику вместо интуиции. Это также отличная демонстрация того, насколько сильны параллели между иллюзиями познания и иллюзиями восприятия, с которыми мы знакомы лучше. Вы можете смотреть на зрительную иллюзию сколько хотите, говорить и думать о ней, но она все равно выглядит «неправильной». Точно так же вы можете смотреть на случайную последовательность настолько пристально, насколько сможете: она все равно будет выглядеть упорядоченной, несмотря на то что вы уже знаете.

Возврат к исходному уровню

Мы уже говорили о возврате к исходному уровню в главе о гомеопатии: когда какой-то параметр принимает крайние значения, то всегда есть вероятность, что он вернется к своему обычному значению, — это и есть возврат к исходному уровню.

Мы рассматривали это со ссылкой на проклятие журнала Sports Illustrated, но также применяли его к тому вопросу, который мы рассматриваем, а именно к самочувствию людей: мы рассказывали, что люди могут принимать меры, чтобы снять боль в спине, когда она находится на пике, например посещают гомеопатов, а потом боль проходит, а точнее, возвращается к исходному уровню, но они приписывают улучшение лечению.

Есть две отдельные вещи, происходящие в тот момент, когда мы становимся жертвами ошибочной интуиции. Во-первых, мы не узнаем простую закономерность — возврат к исходному уровню, а во-вторых, мы решаем, что что-то должно было вызвать эту иллюзорную закономерность, например гомеопатическое средство. Простой возврат к исходному уровню мы принимаем за причинно-следственную связь, и это, возможно, вполне естественно для таких животных, как люди, чье успешное существование в мире зависит от их способности обнаруживать причинные отношения быстро и интуитивно: мы изначально сверхчувствительны к ним.

В той степени, в которой мы обсуждали этот вопрос раньше, я полагался на вашу добрую волю и вероятность того, что, основываясь на вашем личном опыте, вы согласитесь, что объяснение разумно. Но это было продемонстрировано еще в одном оригинальном эксперименте, где все переменные контролировались, но люди все же наблюдали закономерность и видели причинную связь там, где ее не было.

Участники эксперимента играли роль учителя, который пытается заставить ребенка приходить в школу точно к 8:30 утра. Они сидели за компьютером, на котором каждый день, 15 дней подряд, было видно, что предполагаемый ребенок приходит в школу между 8:20 и 8:40; испытуемые не знали, что время прихода было случайным и было определено до начала эксперимента.

Тем не менее испытуемым, изображающим учителей, было разрешено использовать наказания за опоздания и поощрения за приход вовремя в любом порядке. Когда их попросили в конце эксперимента определить, что было более эффективным, 70 % отметили, что наказание действовало лучше, чем поощрение, в воспитании у ребенка пунктуальности.

Эти испытуемые были убеждены, что их вмешательство воздействовало на пунктуальность ребенка, несмотря на то что время прихода было случайным и представляло собой пример «возврата к исходному уровню». Точно так же люди убеждены, что гомеопатия помогает, хотя было показано экспериментально, что она действует не лучше, чем плацебо.

Повторим:

1. мы видим закономерность там, где есть только случайный шум;

2. мы видим причинные связи там, где их нет.

Это две достаточные причины, чтобы измерять результаты объективно. Плохие новости для интуиции. Могут ли они стать еще хуже?

Уклон в сторону положительных данных

Специфическая и вечная ошибка человеческого понимания — это то, что оно больше заинтересовано в положительном, чем в отрицательном.

Френсис Бэкон

Дальше — хуже. Кажется, что у нас есть врожденная тенденция выискивать и переоценивать данные, которые подтверждают нашу гипотезу. Чтобы устранить это явление из спорной области альтернативной медицины — или страхов по поводу MMR, — у нас, к счастью, есть еще несколько простых экспериментов, которые иллюстрируют нашу точку зрения.

Представьте стол с четырьмя карточками на нем, обозначенными А, В, 2 и 3. Каждая карточка на одной стороне имеет букву, а на другой цифру. Ваша задача — определить, имеют ли все карточки с гласной буквой на одной стороне четный номер на другой. Какие две карточки вы перевернете? Все выбирают карточку А, что очевидно, но, как многие люди, если вы не заставите себя как следует подумать об этом, вы, вероятно, выберете также карточку с цифрой 2. Вы сделаете это потому, что карточки содержат информацию, согласующуюся с гипотезой, которую вы собираетесь проверять. Но на самом деле карточки, которые вы должны перевернуть, — это А и 3, поскольку, если вы найдете гласную на обороте карточки 2, это ничего не скажет обо всех карточках, а только подтвердит, что «некоторые карточки с гласной буквой имеют четный номер на другой стороне», в то время как гласная на обороте карточки с тройкой опровергнет всю гипотезу. Это небольшое логическое упражнение демонстрирует нашу тенденцию интуитивно искать информацию, которая подтвердит гипотезу, и демонстрирует ее в нейтральной ситуации (без заинтересованности с нашей стороны).

Эта же самая тенденция была продемонстрирована в более сложных социально-психологических экспериментах. Если мы пытаемся определить, является ли человек экстравертом, например, многие будут задавать вопросы, положительный ответ на которые будет подтверждать гипотезу («Вы любите ходить на вечеринки?»), а не опровергать ее.

Мы можем проследить аналогичную тенденцию, если проанализируем информацию из нашей собственной памяти. В одном эксперименте испытуемые читали сообщение о женщине, которая иллюстрировала различные интравертные и экстравертные модели поведения. Затем испытуемых разделили на две группы. Одну группу попросили оценить, подходит ли эта женщина для работы библиотекарем, а другую — для работы в качестве агента по недвижимости. Представителей обеих групп попросили привести примеры интравертного и экстравертного поведения. Группа, которая определяла ее пригодность для работы библиотекарем, нашла больше примеров интравертного поведения, а группа, которая рассматривала ее как потенциального агента по недвижимости, — экстравертного.

Эта тенденция опасна, поскольку если вы спрашиваете только о том, что подтверждает вашу гипотезу, вы и выявите только эту информацию, создавая ложное впечатление об истинности предположения. Это также означает (в более широком контексте), что люди, которые задают вопросы, уже предполагают положительные ответы.

Итак, мы можем добавить к нашему списку познавательных иллюзий тенденциозность и ошибки интуиции:

3. мы переоцениваем значение информации, подтверждающей нашу гипотезу;

4. мы ищем информацию, подтверждающую любую данную гипотезу.

Влияние наших предыдущих представлений

Я следовал золотому правилу, что, когда появляется новое наблюдение или приходит новая мысль, которая противоречит моим общим результатам, надо обязательно делать памятку, и сразу же, поскольку я знал из предыдущего опыта, что такие факты и мысли чаще ускользают из памяти, чем благоприятные.

Чарльз Дарвин

Это недостаток рассуждений, который всем хорошо известен, но даже если это наименее интересная из всех иллюзий познания, поскольку она очевидна, она была продемонстрирована в экспериментах, которые настолько точны, что вы можете посчитать их довольно интересными.

Классическая демонстрация предвзятости в силу наших предыдущих убеждений — это исследование мнения людей о смертной казни. Было собрано большое число сторонников и противников смертной казни. Им были представлены два свидетельства об устрашающем воздействии высшей меры: одно — подтверждающее это воздействие, а другое — доказывающее обратное.

Им показали следующие данные:

• сравнение статистики убийств в одном штате США до введения смертной казни и после;

• сравнение статистики убийств в разных штатах, в некоторых из которых существует смертная казнь.

Но был сделан очень умный ход: и сторонников, и противников высшей меры разделили на две подгруппы. Таким образом, половина противников и сторонников высшей меры имела подкрепление своей точки зрения в виде статистики до/после введения этой меры (первое свидетельство), но опровержение их мнения в виде статистики в разных штатах (второе свидетельство) и наоборот. Когда участников спросили о представленных доказательствах, они сообщили о недостатках в методах исследования, которые противоречили их мнению, но не заметили недостатков в исследовании, которое говорило в их пользу. Половина сторонников высшей меры, например, обнаружила недостатки в идее сравнения данных по разным штатам на основании методологических принципов, поскольку эти данные противоречили их точке зрения, в то время как данные по убийствам до и после введения смертной казни вызвали у них полное доверие; другая половина сторонников, напротив, раскритиковала данные до/после введения казни, поскольку в их случае эти данные противоречили их мнению, а данные по разным штатам поддерживали их точку зрения.