Обман в науке - Бен Голдакр

Когда я объясняю эти манипуляции с результатами своим друзьям, которые не являются медиками или учеными, они очень удивляются. «Как же это возможно?» — спрашивают они. Во-первых, многие плохие исследования объясняются некомпетентностью. Но многие методологические ошибки, описанные выше, представляют собой намеренный обман. Можно ли разоблачить грязную игру?

На индивидуальном уровне иногда чрезвычайно трудно доказать, что испытание было намеренно подделано, чтобы продемонстрировать результаты, нужные спонсорам. Но в целом картина вырисовывается довольно ясно. Этот вопрос так часто изучался, что в 2003 году один систематический обзор обнаружил 30 исследований, целью которых было посмотреть, влияет ли финансирование в разных группах испытаний на их результаты. Исследования, финансируемые фармацевтическими компаниями, как было показано, в четыре раза чаще независимых давали результаты, благоприятные для компаний.

Один обзор тенденциозных исследований рассказывает историю, поистине достойную «Алисы в стране чудес». Было найдено 56 различных испытаний, сравнивающих обезболивающие препараты, такие как ибупрофен, диклофенак и т. д. Люди часто изобретают новые версии этих лекарств в надежде, что у них будет меньше побочных эффектов или они будут обладать более сильным действием (или что их можно будет запатентовать и заработать деньги). В каждом испытании лекарство, произведенное спонсором, оказывалось лучше или по крайней мере не хуже, чем остальные, участвовавшие в исследовании. Ни в одном случае оно не оказалось хуже остальных. Философы и математики говорят о «переходности»: если А лучше В, а В лучше С, то С не может быть лучше, чем А. Но обзор 56 испытаний показал полный абсурд: все эти лекарства были лучше друг друга.

Но за углом нас ждет еще один сюрприз. Как ни удивительно, когда исследовались методологические недостатки, оказалось, что испытания, которые финансировались фармацевтической индустрией, использовали лучшие исследовательские методы, чем независимые испытания. Самое большее, что можно было предъявить фармкомпаниям, это такие мелочи, как использование неадекватных доз лекарств-конкурентов (как говорилось выше) или заявления в разделе «Выводы», которые преувеличивали положительность результатов. Но это были легко обнаруживаемые недостатки: нужно было только прочитать отчет об испытании, чтобы увидеть, что исследователи давали маленькую дозу обезболивающего; всегда следует читать разделы «Методы» и «Результаты», чтобы судить о данных исследования, поскольку разделы «Обсуждение» и «Выводы» в конце похожи на комментарии в газетах. Из них вы не узнаете ничего нового.

Как же мы можем объяснить тот факт, что результаты испытаний, финансируемых фармкомпаниями, часто такие блестящие? Каким образом все их лекарства одновременно оказываются лучшими? Самое главное может произойти после окончания испытаний.

Тенденциозность публикаций и подавление отрицательных результатов

Тенденциозность публикаций — это очень интересный и очень человеческий феномен. По ряду причин положительные результаты с большей вероятностью будут опубликованы, чем отрицательные. Это легко понять, если вы поставите себя на место исследователей. Во-первых, если результат отрицательный, вы чувствуете, что зря потеряли время. Легко убедить себя в том, что вы ничего не нашли, хотя в действительности вы нашли очень полезную информацию: вы узнали, что вещь, которую вы тестируете, не работает.

Правильно это или нет, но получение данных о том, что что- то не работает, конечно, не принесет вам Нобелевской премии — нет на свете справедливости, — поэтому у вас могут пропасть мотивация работать над этим проектом и появиться новые приоритеты. Вы не захотите публиковать свои отрицательные результаты в академическом журнале, и ваши данные будут пылиться на дне ящика письменного стола. Пройдут месяцы. Вы получите новый грант. Чувство вины вас будет иногда беспокоить, но понедельник — ваш день в клинике, значит, неделя начинается во вторник, а в среду встреча в департаменте, поэтому четверг — это единственный день, когда вы можете поработать, а в пятницу вы читаете лекции, и так пройдет год, ваш шеф уйдет на пенсию, а новый даже не будет знать о том, что проводился эксперимент, и так отрицательные результаты будут забыты навсегда. Если вы улыбаетесь, читая этот абзац, потому что узнали себя, то вы очень плохой человек.

Даже если вы опубликуете свои отрицательные результаты, это не будет новостью. Вы, вероятно, не сможете опубликовать их в самом известном журнале, если только это не крупные испытания чего-то, что обещало сенсацию, пока ваш отрицательный эксперимент все не испортил. Это уважительная причина, чтобы вы особенно не суетились, и это также означает, что весь процесс отложится на неопределенное время: ленивым журналам может потребоваться год, чтобы отвергнуть вашу статью. Каждый раз, когда вы будете подавать статью в разные журналы, вам придется переформатировать ссылки (часы утомительного труда). Если вы замахиваетесь высоко и получаете несколько отказов, могут пройти годы, пока статья выйдет, даже если вы очень старались, и все эти годы люди не будут знать о ваших исследованиях.

Тенденциозность публикаций весьма распространена и в некоторых областях встречается чаще, чем в других. В 1995 году только 1 % всех статей, опубликованных в журналах альтернативной медицины, содержал отрицательные результаты. Самая последняя цифра — это 5 % отрицательных публикаций. Это очень низкий процент, хотя, если быть честным, могло быть и хуже. Обзор 1998 года охватил весь спектр исследований китайской медицины и не нашел ни одной публикации, описывающей отрицательные результаты. Ни одной. Вы видите, почему я использую нетрадиционную и альтернативную медицину (НиАМ) как учебное пособие для изучения доказательной медицины.

В целом тенденциозность публикаций не проявляется так откровенно, и вы можете получить представление о том, что она существует в данной области, сделав очень умную вещь под названием funnel plot (диаграмма в виде воронки). Это потребует на короткое время вашего внимания.

Если есть множество исследований на одну тему, они должны дать слегка отличные друг от друга результаты, но можно ожидать, что все они будут близки к правильному. Вы также можете ожидать, что результаты более крупных испытаний с большим количеством участников и лучшими методами будут сосредоточены вокруг правильного ответа и ближе к нему, чем результаты мелких испытаний, а они, в свою очередь, будут разбросаны дальше, положительные и отрицательные, поскольку для исследования, скажем, с двадцатью участниками достаточно трех фальшивых результатов, чтобы сделать неправильные выводы.

Диаграмма в виде воронки помогает представить это наглядно. Вы обозначаете эффект на оси X слева направо. Затем на оси Y (сверху вниз) вы показываете, насколько большим было исследование, или каким-нибудь другим способом измеряете его точность. Если в публикациях нет никакого уклона, вы увидите прелестную перевернутую воронку: крупные, точные испытания будут сосредоточены вокруг ее вершины, а затем, по мере движения вниз, мелкие и менее точные будут постепенно распространяться вправо и влево, по мере снижения их точности — как положительные, так и отрицательные.

Уровень риска (смертность)

Однако если в публикациях есть тенденциозность, результаты будут асимметричными. Мелкие, некачественные отрицательные испытания будут отсутствовать, поскольку их будут игнорировать. Кажется, никто ничего не потеряет, если результаты этих крошечных, неубедительных испытаний так и останутся на дне ящика письменного стола, — таким образом, опубликованными оказываются только положительные результаты. Эта тенденциозность не только была продемонстрирована во многих областях медицины: одна статья обнаружила доказательства тенденциозности в самих исследованиях тенденциозности в публикациях. Вот воронкообразная диаграмма этой статьи. Такова ирония доказательной медицины.

Самый неприятный недавний случай этого явления — это исследования антидепрессантов СИОЗС, как было показано в различных статьях. Группа ученых в начале 2008 года опубликовала статью в «Медицинском журнале Новой Англии» (New England Journal of Medicine), где были перечислены все испытания СИОЗС, которые были официально зарегистрированы Управлением по контролю за качеством пищевых продуктов и лекарственных средств, и изучила эти испытания в научной литературе. Тридцать семь испытаний были оценены управлением как положительные: за исключением одного, все они были правильно описаны и опубликованы. Двадцать два испытания, которые показали отрицательные или неопределенные результаты, просто не были опубликованы, а одиннадцать были описаны и опубликованы таким образом, что их результаты выглядели положительными.