Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

аппроксимации (если использовать технический термин, или же “переподгонке”) данных в процессе анализа[366]. Другими словами, анализ, положим, описывает картину в этом конкретном наборе данных хорошо, но сама картина может быть обусловлена шумовыми вывертами или странностями, которые не поддаются обобщению на другие данные или на реальный мир. Это попросту бесполезно, ведь чаще всего нас не интересует внутренняя кухня отдельно взятого набора данных (мы не хотим узнать, “какова связь между приемом нейролептиков и симптомами шизофрении, измеренная в этой конкретной выборке из двухсот трех человек с апреля по май 2019 года в Денвере, штат Колорадо”) – мы ищем обобщаемые факты о мире (“какова связь между приемом нейролептиков и симптомами шизофрении у людей в целом?”).

Рис. 3. Проблема переподгонки, проиллюстрированная с помощью моделей для осадков. На графике А модель плохая – это “недостаточная аппроксимация”, поскольку она неудовлетворительно описывает данные. На графике Б модель куда лучше, ведь она описывает выпадение осадков таким образом, который обобщается, вероятно, и на другие годы. На графике В показана “чрезмерная аппроксимация”: хотя модель прекрасно описывает данные именно этого года, маловероятно, что в другие годы значения будут скакать вверх и вниз точно так же. Обратите внимание: эти данные выдуманы для иллюстрирования принципа

На рисунке 3 проиллюстрирована чрезмерная аппроксимация. Как вы видите, у нас есть набор данных: одно измерение количества осадков за каждый месяц на протяжении года. Мы хотим провести через наши данные линию, которая описывала бы, как меняется количество осадков со временем, – линия будет нашей статистической моделью этих данных – и с ее помощью предсказывать, сколько осадков будет выпадать каждый месяц в следующем году. Самое небрежное из возможных решений – просто провести прямую, как на рисунке 3А, только вот на имеющиеся данные это не очень-то похоже: если бы мы попробовали использовать эту прямую для прогнозирования измерений будущего года, предсказывая абсолютно одно и то же количество осадков каждый месяц, мы бы справились с заданием хуже некуда. Далее, мы могли бы использовать кривую линию, проходящую через данные так, как показано на рисунке 3Б, что было бы добротной аппроксимацией – такая кривая служила бы полезной моделью для предсказывания значений на следующий год. Однако есть риск на этом не остановиться, а провести линию через каждую отдельную точку, вихляя в разные стороны, как на рисунке 3В. Такая модель прекрасно согласуется с нашим набором данных, это идеальное описание имеющихся точек, но каковы шансы, что данные в следующем году будут совершенно точно так же прыгать то вверх, то вниз? Они невысоки. Проводя линию столь близко к точкам, мы моделируем лишь случайный шум, существующий в наших данных. Это и есть чрезмерная аппроксимация.

Вот что неосознанно делают ученые, прибегающие к p-хакингу: придают слишком большое значение тому, что зачастую представляет собой лишь случайный шум, и считают это частью модели, а не досадным отклонением, которое ради реального сигнала (если таковой вообще существует) следует оставить без внимания. Горе тому, кто берет переподогнанную модель после p-хакинга и пытается применить ее к другим выборкам: она обусловлена определенными расходящимися тропками, которыми ее создатели следовали сквозь свои зашумленные данные, так что модель эта, скорее всего, мало что скажет нам о мире за пределами единичного набора данных.

Легко понять, почему ученые соблазняются переподгонкой. Если сосредоточиться только на собственных данных и забыть, что ваша работа – формулировать общие утверждения о мире, то модель вроде изображенной на рисунке 3В, чудесно описывающая данные, кажется крайне привлекательной: нет никаких неопределенностей, беспорядочных точек, уклоняющихся от проведенной вами линии. Однако столь притягательной эту модель делает не ее аккуратность как таковая, бесхитростно соединить точки на графике можно и без всякого научного знания. А как насчет статьи, звучащей так, словно вы придумали конкретную форму линии (свою теорию) еще до сбора данных? Теперь к вам приковано внимание научной общественности – а как мы знаем, основная цель в науке состоит в том, чтобы убедить других ученых, что вашу модель, теорию или исследование следует принимать всерьез.

Те же побуждения справедливы и для p-хакинга в более широком смысле: исследования, которые не омрачены случайным незначимым результатом, торчащим посреди p-значений, поголовно меньших 0,05, выглядят гораздо привлекательнее. Вспомним, как Стивен Джей Гулд сказал про науку: “профессия, присваивающая статус и авторитет за аккуратные и недвусмысленные открытия [курсив мой]”. Социальный психолог Роджер Джинер-Соролла согласен: “При прямой конкуренции между статьями… работе, чьи результаты все значимы и непротиворечивы, отдадут предпочтение перед той, что столь же хороша, но сообщает результат без прикрас, дабы прийти к более правомочному выводу”[367].

Здесь мы видим, как публикационное смещение и p-хакинг оказываются двумя проявлениями одного феномена – желания стереть результаты, которые плохо соотносятся с заранее сложившейся теорией. Этот феномен в хитроумном метанаучном исследовании обнажила группа специалистов, изучающих работы по экономике и управлению. Они воспользовались фактом, что некоторые результаты включаются в диссертации до того, как их по всей форме опишут и отправят в научные журналы для публикации. Происходящее между включением в диссертацию и опубликованием в журнале эти исследователи назвали “окукливанием”. К моменту выхода в виде финальной публикации исходно неказистые наборы данных часто превращались в красивых бабочек, поскольку все неопрятно выглядящее, незначимое отбрасывалось или изменялось ради стройного изложения положительных результатов[368]. В большинстве случаев творцы сих превращений, вероятно, думали, что, устраняя некоторые результаты, позволяют своим данным четче “рассказывать историю”, – и возможно, старшие коллеги учили их, что так и надо делать, дабы уверить рецензентов: статью стоит публиковать[369]. На самом же деле они обрекали будущих ученых на безнадежно предвзятую картину того, что происходило в исследовании.

Жажда красивых результатов подтачивает даже “точнейшие” из наук. Физик Сабина Хоссенфельдер в своей книге “Уродливая Вселенная” утверждает, что физики до такой степени увлеклись своими собственными построениями, сосредоточившись на элегантности и красоте моделей вроде теории струн, что на практике проверить, действительно ли эти модели верны, они не в состоянии[370]. Хотя сложнейшая математическая работа специалистов по теории струн, казалось бы, неимоверно далека от кухонной, бытовой науки Брайана Вонсинка, оба типа исследований могут пропитаться одинаковыми видами человеческих предубеждений.

Равно как и области, где из-за подобных предубеждений на кону оказываются жизни людей. Поколениям студентов-медиков рассказывали, вполне справедливо, что двойные слепые рандомизированные плацебо-контролируемые испытания – золотой стандарт для доказательства эффективности новых средств лечения. При должном проведении такие испытания вычленяют эффект плацебо, предвзятость со стороны врачей, осуществляющих лечение, ложные результаты, вызванные факторами, не