Обман в науке - Бен Голдакр

Афзаль и его коллеги не были упомянуты в прессе нигде, кроме моей колонки.

И опять-таки это не единичный случай. Еще одно исследование было опубликовано в ведущем академическом журнале Pediatrics («Педиатрия») несколько месяцев спустя. Это исследование — при полном молчании СМИ — подтвердило, что ранние результаты Кавашимы и О’Лири были ошибочными, ложноположительными. Д’Соуза и коллеги воспроизвели их ранние эксперименты очень точно и в некоторых аспектах даже более тщательно, что важно, проследили возможные пути появления этих результатов и получили удивительные данные.

Ложноположительные результаты часто встречаются при применении анализа PCR (полимеразной цепной реакции), поскольку этот метод основан на использовании ферментов для репликации РНК, так что вы начинаете с малого количества РНК в вашем образце, которое затем увеличивается до тех пор, пока вы не получите достаточно материала для измерения и дальнейшей работы. Начиная с одной молекулы генетического материала PCR может произвести 100 миллиардов копий за один день. Благодаря этому метод PCR чрезвычайно чувствителен к загрязнениям — как могут поведать вам тысячи людей, безвинно томящихся в тюрьме, — поэтому вы должны быть очень аккуратны, когда работаете с ним.

Помимо проблем с загрязнениями, исследование Д’Соуза обнаружило, что метод О’Лири мог случайно реплицировать не ту РНК.

Внесем ясность: это не умаляет значения работ отдельных исследователей. Технологии совершенствуются, результаты иногда невоспроизводимы, и не все перепроверки целесообразны (хотя свидетельство Бастина говорит о том, что лаборатория О’Лири не соответствовала стандартам). Что удивительно, так это то, что СМИ охотно хватаются за первые попавшиеся пугающие данные, а затем полностью игнорируют новые обнадеживающие свидетельства. Исследование, проведенное Д’Соуза, как и предыдущее исследование Афзаля, было единодушно проигнорировано в прессе. Оно появилось только в моей колонке, одном сообщении информационного агентства Reiter и в одном послании на блоге бойфренда ведущего исследователя, где он рассказывал, как гордится своей подругой. Больше нигде[59].

Вы можете резонно заявить, что газеты правы: они сообщают новости, а писать о том, что какое-то исследование обнаружило, что что-то там безопасно, не очень интересно. Но я поспорю — да, называйте это ханжеством, — что газеты несут ответственность в этом случае, поскольку сами требовали «больше исследований» и одновременно игнорировали хорошо проведенные и надлежащим образом опубликованные исследования, содержащие отрицательные данные, а положительные данные из сомнительного и неопубликованного исследования Кригсмана активно обсуждали.

Вакцина MMR — не единственный случай. Вы, может быть, помните страшные истории о ртутных пломбах в предыдущие два десятилетия: они появляются каждые несколько лет, обычно сопровождаемые какой-нибудь историей о том, что у кого-то появились усталость, головокружение и головные боли, которые исчезли после того, как воображаемый стоматолог удалил пломбу. Эти истории традиционно заканчиваются заявлениями, что стоматологическое сообщество скрывает правду, и требованиями провести дополнительные исследования.

Первые рандомизированные контролируемые испытания по безопасности ртутных пломб были недавно опубликованы, и если вы думаете увидеть где-нибудь долгожданные результаты, которых лично требовали журналисты многочисленных газет, вы будете разочарованы: они не освещались нигде. Нигде. В исследовании, включавшем более 1000 детей, где некоторым были поставлены ртутные пломбы, а некоторым без- ртутные, измерялись в течение нескольких лет такие параметры, как функция почек и нервно-познавательные функции: память, координация, нервная проводимость, IQ и т. д. Между группами не было выявлено существенных различий. Это стоит знать, если вы напуганы тем, что пишут газеты о ртутных пломбах.

«Панорама» представила особенно пугающий документальный фильм в 1994 году, который назывался «Яд у вас во рту» (The Poison in Your Mouth). Он начинался с драматического шествия мужчин в защитной одежде, которые катили емкости с ртутью. Я не даю сейчас гарантий по поводу ртути. Но я думаю, что можно с уверенностью предположить, что «Панорама» не представит документального фильма о «потрясающем новом исследовании», которое подтвердило, что ртутные пломбы не приносят вреда.

В некотором смысле это еще одна иллюстрация того, как ненадежна наша интуиция в оценке рисков, аналогичных тому, который ассоциировался с вакциной: это не только ошибочный метод для оценки последствий, которые крайне редки для того, чтобы собрать значимые данные об их роли в жизни отдельного человека; но информация, которую вам скармливают СМИ о широких слоях населения, безобразно, преступно искажена. Итак, чего же достигли британские СМИ в результате?

Неудивительно, что уровень вакцинации против кори, свинки и краснухи упал с 92 % в 1996 году до 73 % сегодня. В некоторых районах Лондона он составляет 60 %, а цифры 2004–2005 годов показывают, что в Вестминстере только 38 % детей имели обе прививки к возрасту 5 лет[60].

Трудно представить, что могло за этим стоять, если не блестящая и хорошо скоординированная кампания СМИ против вакцины MMR, которая вызвала настоящую истерию. Люди привыкли слушать журналистов: это было неоднократно продемонстрировано, и не только в этой книге.

В 2005 году в «Медицинском журнале Австралии» (Medicine Journal of Australia) появилось исследование, анализирующее, сколько женщин записалось на маммографию, и это исследование обнаружило, что в период освещения истории с раком молочной железы у Кайли Миноуг количество записавшихся на процедуру увеличилось на 40 %. Увеличение среди женщин в возрасте 40–60 лет, ранее не проходивших маммографию, составило 101 %. Это был беспрецедентный всплеск.

Я не выбираю данные специально: систематический обзор Кохрановского сотрудничества обнаружил пять исследований, которые были посвящены использованию отдельных медицинских процедур до и после появления в прессе соответствующих историй, и каждое исследование обнаружило, что благоприятное освещение медицинской процедуры было связано с увеличением интереса к ней со стороны населения, а неблагоприятное — с падением.

И это относится не только к населению: и медицинское сообщество, и ученые подпадают под влияние прессы. Шутливый обзор, проведенный «Медицинским журналом Новой Англии» в 1991 году, показал, что если исследование попадало на страницы газеты New York Times, оно гораздо чаще цитировалось в серьезных научных статьях. Если вы прочитали книгу до этого места, вы, вероятно, уже критикуете этот обзор. Было ли освещение в New York Times просто суррогатным маркером важности исследования? История постаралась обеспечить нас в этом случае контрольной группой для сравнения результатов: в течение трех месяцев большая часть сотрудников газеты бастовала и, в то время как журналисты продолжали писать, газета фактически не выходила. Они писали истории о научных исследованиях, используя те же критерии, чтобы судить об их важности, но количество ссылок на исследования, о которых они писали в статьях, так и не увидевших свет, не увеличилось.

Люди читают газеты. Несмотря на все то, что мы знаем или думаем, что знаем, их содержание проникает в наши головы, мы считаем, что это правда, и действуем соответственно, что делает более трагическими последствия их ошибок. Не делаю ли я слишком поспешных выводов из экстремальных примеров, приведенных в этой книге? Вероятно, нет.

В 2008 году Гэри Швитцер, бывший журналист, который сейчас работает над количественными исследованиями, касающимися СМИ, опубликовал анализ 500 статей на медицинские темы, помещенных в центральных газетах США. Только 35 % этих статей выглядели удовлетворительными с точки зрения журналистского описания методологии исследования и качества данных (поскольку, как мы уже неоднократно видели, по мнению журналистов, наука — это безапелляционные заявления неких фигур в белых халатах, а не четкие описания проведенных исследований и причин, по которым делаются те или иные выводы).

Только 25 % адекватно освещали пользу и 33 % — вред. В статьях обычно отсутствовала количественная информация в конкретных цифрах, а предпочтение отдавалось неточным, но броским «на 50 % выше».

Фактически систематические количественные обзоры точности освещения проблем, связанных со здоровьем, появлялись в Канаде, Австралии и Америке — я стараюсь не концентрироваться только на Великобритании, — результаты повсеместно были невпечатляющими. Мне кажется, что ситуация с освещением в прессе медицинских вопросов сама по себе является серьезной проблемой здравоохранения.