Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

в более узком диапазоне вверху. Результаты должны скапливаться вокруг одного и того же среднего, вот так:

Но если некоторые проведенные исследования не публикуются, картина может оказаться иной. Неожиданно пропадают работы, в которых ничего не было найдено. Тогда вместо аккуратного треугольника получится скошенная фигура, подобная этой:

Это как стена в мультфильме о Дорожном бегуне, покрытая пулевыми отверстиями, в которой не задетой осталась область в форме Койота. Это о чем-то говорит: то ли пулемет – совершенно случайно – ни разу не попал в эту область, то ли там стоял несчастный Койот, в которого и угодили все пули.[29]

Могло быть и так, что все меньшие, более слабые исследования дали результаты выше среднего и ни одно из них не дало результата ниже среднего. Или же низкие результаты были получены, но не обнародованы из-за публикационного сдвига, и там, где они должны были находиться, возникла загадочная пустота. Подобный вид воронкообразного графика может объясняться и другими причинами, но может говорить о наличии публикационного сдвига.

Это не единственный способ проверки наличия публикационного сдвига – можно просто написать исследователям и попросить у них результаты неопубликованных работ, а потом посмотреть, отличаются ли они от результатов опубликованных. Зачастую так и есть.

В случае с фармацевтическими компаниями логично предположить, что все дело в корпоративной жадности: если в ходе их исследований обнаружится, что антидепрессант не действует, это ухудшит его продажи. Возможно, отчасти проблема именно этим и объясняется, хотя одно исследование показало, что результаты испытаний, спонсируемых представителями индустрии, с большей вероятностью будут опубликованы в течение года (как того требует американское законодательство), чем результаты других.

Но главная причина в том, что журналы отбирают материалы на основе полученных в них результатов. Вот решили вы провести какое-нибудь исследование: скажем, если попросить людей напеть «Марсельезу» перед походом в ресторан, то увеличится ли вероятность того, что они закажут лягушачьи лапки? Как правило, заявку на публикацию ученые подают не тогда, когда идея только пришла им в голову, а когда уже есть результаты.

«Напевание „Марсельезы“ не влияет на выбор блюд» – крайне скучный заголовок; ясно, что большинство журналов такую статью отвергнет. Однако если допустить, что такое влияние и правда отсутствует, но проверкой гипотезы займется 20 групп, то в среднем одна из них получит статистически значимый (p < 0,05) результат чисто случайно (как обычно, предполагаем, что исследование проводится корректно). Именно его и опубликуют в научном журнале, и именно он поднимет шум в СМИ.

Так и произошло с вышеупомянутыми исследованиями по денежному праймингу. При проведении метаанализа воспользовались воронкообразным графиком (см. врезку), чтобы определить, имел ли место публикационный сдвиг, и обнаружили его. Возможно, денежный прайминг – реальный феномен, но его эффект намного меньше, чем казалось во времена расцвета этой идеи, ведь отчеты о многих исследованиях, которые его существование не подтвердили, остались в письменных столах своих авторов.

Но все еще хуже: ученые знают, что журналы, скорее всего, откажутся публиковать отрицательные результаты. Так что они их и посылать не будут. Или слегка подкорректируют: посмотрят на данные под другим углом, отбросят экстремальные значения, чтобы результаты выглядели положительными. Карьера в науке подчиняется девизу «Публикуйся или умри». Без статей не жди продвижения по службе или постоянной должности. Так что ученые крайне заинтересованы в публикации своих статей, а значит, у них есть серьезный стимул заниматься p-подгонкой.

Еще хуже складывается ситуация для читателя СМИ. Даже если статья опубликована в научном журнале, в популярном издании о ней не напишут, если она скучная и с заголовком типа «Напевание „Марсельезы“ вообще ни на что не влияет». За новостями особенно гонятся в новостных медиа – на то они и новостные. В газетах пишут об авиакатастрофах – редких и волнующих событиях, а не о благополучно приземлившихся самолетах – событиях заурядных и не занимательных. Поэтому публичное информационное пространство – как и научная литература – дает искаженное представление о частоте чрезвычайных происшествий. Здесь работает тот же механизм.

Ученые пытаются устранить эту проблему. Одно из самых многообещающих решений связано с так называемыми заявленными (т. е. предварительно отрецензированными) исследованиями, когда журнал – во избежание публикационного сдвига – заранее обязуется напечатать исследование на основании выбранного метода, независимо от результатов. В одном исследовании сравнивались обычные психологические исследования и заявленные, и оказалось, что если 96 % обычных статей содержат положительные результаты, то среди заявленных таких только 44 %, что указывает на серьезную проблему. Заявленные исследования получают все большее распространение, и можно надеяться, что скоро они станут нормой.

Вряд ли можно ожидать, что новостные медиа начнут рассказывать об исследованиях, в которых ничего не обнаружено, или о каждом самолете, совершившем штатную посадку в парижском аэропорту имени Шарля де Голля. Но СМИ могли бы поднять шум вокруг этой проблемы в науке, и это подтолкнуло бы больше научных журналов перейти к публикации заявленных исследований и взять на вооружение другие разумные реформы, поскольку это фундаментальная научная проблема и важнейшая причина того, что цифрам, о которых мы читаем, не всегда можно верить.

Глава 16

Выборочное представление фактов

Вернемся немного назад – в 2006 год, когда австралийский геолог Боб Картер опубликовал в британской газете The Daily Telegraph статью «Проблема глобального потепления СУЩЕСТВУЕТ. Оно прекратилось в 1998-м». В течение последующих восьми или около того лет выходила уйма материалов такого плана. Многие из них печатались в The Daily Telegraph и в The Mail on Sunday.

Идея о том, что потепление прекратилось в 1998-м, вызвала долгие дискуссии о паузе в нем или его хиатусе. Чем объясняется это кажущееся замедление (а в некоторых версиях даже разворот) роста температур?[30]

Честно говоря, это сложный вопрос, потому что климат – сложная штука. Неслучайно, говоря о теории хаоса, прежде всего вспоминают о бабочке, которая взмахнула крыльями в Бразилии, что привело к торнадо в Техасе. Климат очень трудно изучать и предсказывать.

Однако этот пример объясняется просто – потому что в качестве точки отсчета выбран 1998 год.

Представьте: прекрасный день, вы сидите на пляже. На берег набегают волны; иногда они особенно мощные. Вы построили замок из песка и ждете, когда его разрушит прибой. (Это отличный способ продемонстрировать ребенку безжалостность времени и тщетность человеческих усилий.)

Однако, отправляясь из своего летнего домика на пляж, вы легкомысленно не проверили, отлив сейчас или прилив. Поэтому время от времени поглядываете, насколько далеко забегают волны.

По большей части они немного не достают до замка – то на метр, то на полтора. Но однажды,