Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

Серьезная проблема заложена в самой основе того, как вообще работает наука Это не вина конкретных ученых, хотя некоторые действительно манипулируют системой. Есть загвоздка и с тем, как популярные СМИ сообщают о новостях – не только научных, любых, – но это удивляет меньше.

Проблема в том, что научные журналы хотят печатать интересные научные результаты.

Однако, в конце концов, разве публикация интересных результатов – не прямая обязанность научных журналов? Какой толк в публикации скучных результатов, где нет ничего нового? И тем не менее это проблема, и колоссальная. Именно она лежит в основе того, что многие цифры, попадающие в ленту новостей (и, что, возможно, еще хуже, в научную литературу), неверны или сбивают с толку.

Спрос на новизну очевиден. Знаменитая статья Дэрила Бема «Чувствуя будущее: экспериментальные доказательства аномальных ретроактивных влияний на познание и аффект» («Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect») в 2011 году потрясла мир психологических исследований. Под неуклюжим заголовком скрывается, по всей видимости, экстраординарное открытие: люди – экстрасенсы и ясновидцы. Они могут предугадывать будущее.

В исследовании Бема несколько классических психологических экспериментов проводилось в обратном порядке. В том числе эксперимент по праймингу вроде социального, упомянутого выше. Предположим, вы хотите определить, получится ли повлиять на чье-либо поведение с помощью подсознательного образа – картинки, которая мелькнет лишь на долю секунды – так, что мозг не успевает ее опознать. Можно, например, показать испытуемому два одинаковых изображения – допустим, дерева справа и слева – и предложить выбрать одно из них. Но перед этим на мгновение предъявить слева или справа какой-нибудь тревожный или неприятный образ. Он пропадает так быстро, что его не успеваешь заметить, но предположительно подсознание его все-таки фиксирует – лет 10–20 назад эта гипотеза была очень популярна, и на ее основе развивалась идея о 25-м кадре. Если противная картинка появляется слева, то потом вы с меньшей вероятностью выберете левое дерево, и наоборот. Этой экспериментальной схемой часто пользовались исследователи социального прайминга.

А Бем делал то же самое, но – вот это поворот! – в обратном порядке: он показывал изображения дерева или чего-то другого, перед тем как показать что-то отвратительное. И – как ни странно – испытуемые по-прежнему с меньшей вероятностью выбирали ту картинку, которая демонстрировалась на месте неприятного образа. Эффект оказался небольшим, но статистически значимым. Исследователи на полном серьезе утверждали, что это не объяснить иначе как паранормальными способностями.

Дочитав нашу книгу до этого места, вы уже понимаете, что здесь есть место и другому объяснению – чистой случайности. Иногда в исследованиях получаются неверные результаты просто из-за зашумленности данных. В таком случае можно получить истинное значение, а можно большее или меньшее.

Большинство читателей, вероятно, полагает, что истинный уровень паранормальных способностей среди населения равен нулю. Но из-за случайных ошибок в данных исследования могут показывать, что экстрасенсы существуют.

Вот почему наука не опирается – или не должна опираться – на отдельные статьи, о чем мы и писали в главе 14. Она должна учитывать, как соотносится новое исследование с совокупностью уже имеющихся. Достичь консенсуса можно с помощью метаанализов и обзоров литературы, рассматривая все работы в данной области и комбинируя их. Если в одном исследовании доказывается, что паранормальные способности существуют, а в 99 – что их нет, то первое, вероятно, можно списать на случайность.

Однако такой механизм работает, только если публикуются результаты всех исследований по этой теме. А такого не бывает, ведь научные журналы стремятся публиковать лишь интересные. В случае с исследованием Бема понятно, почему этого не произошло: группа ученых – Стюарт Ричи, Ричард Вайзман и Крис Френч – пыталась повторить исследования Бема и получила нулевые результаты. Журнал, опубликовавший статью Бема, Journal of Personality and Social Psychology, отказался публиковать их статью. Скучно печатать нудные повторы старых работ – хочется новых результатов.

В конце концов это исследование вышло в свет в журнале с открытым доступом PLOS One. А если бы этого не произошло, то составитель метаанализа нашел бы только одну статью с полученным результатом – статью Бема, и больше никаких. Погоня журнала за новизной привела бы к видимости научного консенсуса о существовании паранормальных способностей. Исследование Бема всколыхнуло сообщество, ведь ученые поняли, что приходится принять одну из двух неприятных истин: либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу.

(Стоит отметить, что позже Бем сделал метаанализ, включив в него статью Ричи с соавторами и ряд других, и все равно вывел, что паранормальные способности существуют. Со всеми проверками на публикационный сдвиг и прочее. Так что либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу даже по итогам метаанализа.)

Эта погоня за новизной приводит к одной из фундаментальных научных проблем – публикационному сдвигу. Если из ста исследований по выявлению паранормальных способностей в 92 выяснится, что их не существует, а в восьми – что они есть, то это довольно надежный показатель того, что их нет. Но если журналы в погоне за новизной опубликуют только те восемь с положительными результатами, то мир будет вынужден поверить, что мы способны предвидеть будущее.

Дурацкие исследования паранормальных способностей – полбеды, а вот если из-за публикационного сдвига врачи начинают прописывать сенсационное лекарство от рака, которое на самом деле не работает, это уже серьезно. К сожалению, так бывает. Более тридцати лет назад исследователь Р. Дж. Саймес отметил, что предварительно зарегистрированные онкологические исследования (предварительная регистрация означает, что их не так просто замять, если ничего не удастся найти: подробности приведены во врезке) с гораздо меньшей вероятностью приносят положительные результаты, чем те, что не регистрировались предварительно. Это наводит на мысль, что множество таких исследований не было опубликовано. Группа, изучавшая эффективность антидепрессантов, обнаружила, что результаты 13 из 55 исследований просто не публиковались. Когда данные этих работ были учтены, доказанная эффективность антидепрессантов снизилась на четверть.

Эту врезку читать необязательно, но, если если вы хотите узнать, что такое воронкообразный график и как проверять наличие публикационного сдвига, не пропускайте ее.

Проверить наличие публикационного сдвига в той или иной области можно хитрым способом – при помощи воронкообразного графика. На нем отмечаются результаты всех исследований по данной теме, причем небольшие, более слабые исследования размещаются внизу графика, а более крупные и весомые – вверху. Если публикационного сдвига нет, то график должен напоминать треугольник: статистически менее мощные исследования имеют большой разброс результатов внизу (потому что в небольших исследованиях больше случайных ошибок), а результаты больших, более достоверных работ концентрируются