Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

был бы охватить целые карьеры и тысячи университетов и журналов в разных странах и в разных областях исследований. И тем не менее мы в силах сделать больше, чем просто строить догадки, и некоторые изобретательные ученые разработали компьютерные модели, в которых имитируется публикационная система для изучения того, как ее стимулы влияют на исследования.

Какие-то из этих моделей рассматривают научную систему в терминах эволюции. Выше я сравнил процесс удлинения резюме, требуемых для получения академических должностей, с половым отбором, когда для привлечения партнеров развиваются все более экстравагантные признаки. Однако можно провести и другую эволюционную аналогию. Как мы уже видели, научная система сейчас устроена таким образом, что поощряет тех, кто использует нечестные методы. Раз порядочные исследователи – кто работает во имя науки, а не ради статуса, денег или для достижения других ненаучных целей – в этой системе неконкурентоспособны, они чаще будут покидать академический мир и искать какую-то другую работу. По крайней мере, они будут менее конкурентоспособны в борьбе за высшие должности. А значит, помимо того, что система подталкивает всех к неблагонадежной исследовательской практике, она еще и отбраковывает ученых, которые твердо намерены делать все честно, замещая их теми, кто с удовольствием отступает от правил.

Модель, построенная специалистом по когнитивной науке Полом Смалдино и экологом Ричардом Макэлритом, пожалуй, ярче всего иллюстрирует, как этот процесс может выглядеть в динамике[671]. Все напоминает игру с несколькими ходами. Исходно есть несколько лабораторий, и в каждой ученые проверяют новые гипотезы, с разной степенью тщательности стараясь предотвратить появление ложноположительных результатов, а затем пытаются опубликовать статью. Если лаборатория получает положительные результаты, то вознаграждается публикацией; если ее эксперимент ничего не дал, вознаграждения нет. В этой модели на каждом этапе лаборатории с бо́льшим числом публикаций чаще “воспроизводятся”, то есть посылают своих благополучно взращенных аспирантов создавать собственные лаборатории, тем самым распространяя в научном сообществе свои методологические приемы (и уровень их тщательности). По мере развития модели стимулы оказывают свое тлетворное воздействие: вознаграждение виртуальных лабораторий “воспроизводством”, если они публикуются чаще, означает, что все больше и больше лабораторий прилагают все меньше и меньше усилий к тому, чтобы обеспечивать высокое качество своей науки. Это происходит потому, что, как ни странно, ложноположительные результаты опубликовать не сложнее истинно положительных, зато легче получить. В итоге количество опубликованных ложных открытий стремительно растет. Смалдино и Макэлрит называют это “естественным отбором плохой науки”.

Другие компьютерные модели, имитирующие публикационную систему, дают аналогичные результаты. Одна из них показала следующее: учитывая, что в научной литературе решительное предпочтение отдается новизне, оптимальная стратегия для остервенело честолюбивого ученого – “провести множество небольших исследований с малой статистической мощностью, чтобы максимизировать количество публикаций, даже если это означает, что около половины дадут ложноположительные результаты”[672]. Другая модель продемонстрировала, как тяга научных журналов к положительным результатам привела к “извращенному поощрению ложноположительных и мошеннических результатов в ущерб добросовестной науке”[673]. Разумеется, компьютерные модели – это не реальность, где различных параметров значительно больше. Однако такие упрощенные симуляции математически подкрепляют сделанные мною выше умозаключения, показывая, как недостатки системы стимулирования могут со временем снизить качество науки.

В Музее Гетти в Лос-Анджелесе есть картина золотого века голландской живописи – “Алхимик” кисти Корнелиса Бега[674]. В хаосе своей лаборатории сидит алхимик, вокруг него надтреснутые горшки, вазы с обитыми краями и расколотые реторты – плоды неудавшихся попыток превратить неблагородные металлы в золото. Вопреки распространенному мнению, алхимия не была настолько уж никчемной, и грань между некоторыми видами алхимической деятельности и ранними проявлениями того, что мы сейчас величаем химией, по меньшей мере туманна[675]. Но Бега живописал тщетность одержимости золотом. И это хорошая аналогия для современной системы стимулов в науке. Погоня за академическими сокровищами, такими как публикации и цитирования, оставила нас с обломками никуда не годных научных исследований[676].

Порочные стимулы действуют как злой джинн, давая вам именно то, что вы просили, но не обязательно то, чего вы хотели. Поощряйте наращивание числа публикаций, и вы его добьетесь – но будьте готовы к тому, что у ученых останется меньше времени на проверку ошибок, а нарезка статей станет нормой. Поощряйте публикации в журналах с высоким импакт-фактором, и вы их получите – но будьте готовы к тому, что ученые в своих попытках пробиться туда станут прибегать к p-хакингу, публикационному смещению и даже мошенничеству. Поощряйте конкуренцию за гранты, и вы ее добьетесь – но будьте готовы к тому, что ученые начнут без всякой меры раздувать свои результаты и подавать их под нужным углом в попытке привлечь внимание спонсоров. На первый взгляд может показаться, будто наша нынешняя система финансирования науки и публикации результатов поощряет продуктивность и новаторство, однако вместо этого она часто вознаграждает тех, кто следует только букве, а не духу закона науки[677].

Корнелис Бега, “Алхимик”, 1663 г. Музей Гетти

Осознание проблемы со стимулами не означает, что ученым нужно спускать с рук недобросовестные действия. Все мы чувствуем силу стимулов, однако должны делать все возможное, чтобы противостоять им, – во имя науки[678]. Правда, было бы лучше, если бы нам не приходилось, пытаясь делать открытия о мире, сопротивляться сокрушительной тяжести системы “публикуйся или погибни”. Было бы лучше, если бы мы сумели достичь золотой середины, когда поощряется усердная работа и изобретательность ученых, но еще и осторожность со строгостью; когда ученые стремятся сделать все правильно, а не просто опубликоваться[679]. Так как же нам этого достичь? Как нам выправить наши стимулы и тем самым повысить надежность науки? Мы обсудим это в следующей, заключительной главе[680].

Глава 8. Исцеление науки

Процесс научного открытия… за следующие двадцать лет изменится сильнее, чем за последние триста.

Майкл Нильсен[681]

Большинство обсуждавшихся в этой книге проблем с наукой отражено в одной метанаучной работе 2018 года. Исследовательница психиатрии Имкье Анна де Врис и ее коллеги изучили все этапы, которые обычно отделяют клинические испытания нового лекарства от его финального представления миру[682]. В свою выборку они включили сто пять различных испытаний антидепрессантов, которые были одобрены Управлением по контролю качества пищевых продуктов и лекарственных средств США. Соотношение положительных и отрицательных результатов оказалось почти пятьдесят на пятьдесят: в пятидесяти трех исследованиях было показано, что рассматриваемый антидепрессант работает лучше, чем контроль или плацебо, а в пятидесяти двух результаты были