Обман в науке - Бен Голдакр

Производители лекарств часто упирают на теоретические преимущества («Это воздействует в основном на рецепторы Z4, поэтому провоцирует меньше побочных эффектов!»), результаты экспериментов на животных или суррогатные результаты («Это улучшает анализ крови, поэтому защитит от сердечного приступа!») для доказательства эффективности или превосходства их продуктов. Многие из подробных книг популярных диетологов (если вам повезло их прочитать) подыгрывают производителям лекарств. Они могут заявить, например, что «плацебо-контролируемое рандомизированное контрольное исследование» показало преимущества витаминов конкретного производителя, что, если вдуматься в смысл, означает, что меняются суррогатные результаты.

Например, исследование показало достоверное увеличение содержания витамина в крови после его приема, что в общем-то не впечатляет, но ничего не подозревающему читателю преподносится как положительный результат исследования. Или исследование может продемонстрировать, что изменились другие показатели крови, например уровень какого-то из компонентов иммунной системы, что популярными диетологами опять же будет преподнесено как доказательство реального положительного эффекта.

Однако при использовании таких суррогатных следствий возникают проблемы. Они часто очень слабо связаны с реальной болезнью с помощью абстрактной теоретической модели и проявляются в идеализированном мире чистых генетических линий лабораторных животных, живущих под жестким физиологическим контролем. Суррогатный результат, конечно, можно использовать для создания и изучения гипотез о настоящей болезни у реальных людей, но дальше их нужно тщательно проверять на работоспособность. Существует ли связь «доза-результат»? Действительно ли это признак начинающейся болезни или сопутствующий параметр, нечто, связанное с болезнью другим путем (например, вызывается ею, вместо того чтобы вызывать ее)? Есть ли явная разница между нормальными и ненормальными показателями? Чтобы вам было ясно, я собираюсь поймать неквалифицированных популярных диетологов, что называется, на слове. Они считают себя учеными и приводят в своих статьях, телепередачах и книгах ссылки на научные исследования. Я просто отношусь к их высказываниям с той же строгостью, с какой я рассматриваю любую новую теоретическую работу, заявление производителя или продавца лекарств и т. д.

Использовать суррогатные данные бывает небесполезно, но те, кто в курсе, обычно осторожны. Ранние теоретические работы изучать интересно, но часто их смысл сводится к фразе «Новое может быть сложнее старого…». Вы можете понять значение суррогатного результата, если прочитаете о нем все материалы самостоятельно или если полностью уверены в том, что человек, заявляющий о валидности исследования, достаточно компетентен и дает честные оценки всех исследований в этой области и т. д.

Такие же проблемы возникают с данными, полученными на животных: они, несомненно, полезны в теоретической области, для разработки гипотез и определения рисков, но нужно соблюдать осторожность. Однако популярные диетологи в стремлении высказать советы по образу жизни слишком часто не видят проблем при переносе этих изолированных теоретических данных на людей, и можно подумать, что они просто перелопачивают Интернет, чтобы найти там немножко науки, которая поможет продать их таблетки и советы. И ткани, и заболевания лабораторного животного отличаются от тканей и заболеваний человека, а если мы говорим о клетках в лабораторной посуде, эти отличия еще значительнее. Если животному дать слишком большое количество вещества, то это может изменить метаболизм и дать некорректные результаты и т. д. Если вещество может повысить или понизить уровень чего-нибудь на модели, это не означает, что вы получите ожидаемый результат на человеке. Это будет видно на шокирующей правде об антиоксидантах.

А что насчет куркумина, о котором мы говорили до того, как я попытался показать внутренний мир процесса исследования на примере этой специи? Да, есть доказательства, что куркумин, химические вещество в карри, обладает высокой биологической активностью при всех способах употребления и действует на весь организм (есть теоретические обоснования того, что он может быть и канцерогеном). Это достойная цель для исследований.

Но стоит сделать шаг назад и попытаться приложить к своему организму утверждение, что нужно есть больше карри, потому что «недавнее исследование» показало, что куркумин «прекрасно защищает от некоторых форм рака, в особенности от рака простаты». Усваивается только небольшой процент куркумина, употребляемого в пищу. Вам нужно съесть несколько граммов, чтобы получить достоверное повышение его содержания в крови, но чтобы съесть несколько граммов куркумина, нужно съесть примерно 100 граммов куркумы. Удачи! Чтобы перейти от исследования к рецепту, нужно думать гораздо больше, чем об этом говорят диетологи.

«Суть в том, чтобы дать всю информацию, которая нужна для оценки вашего вклада, а не только ту информацию, которая приведет к конкретному результату».

По результатам оценок, в мире уже опубликовано 15 миллионов медицинских статей, и 5000 журналов выходят каждый месяц. Большинство публикаций содержат противоречивые утверждения, и разобраться в том, где правда, очень сложно. Неизбежно люди будут сокращать материал. Мы полагаемся на обзорные статьи, на метаанализы, учебники, слухи или журналистские обзоры по теме.

Это в том случае, если вам нужно добраться до сути проблемы.

А если нужно просто проверить утверждение? Есть, например, несколько настолько странных мнений, что вам не удастся найти доктора наук, готового под ними подписаться; и есть в медицине несколько предположений, настолько нелепых, что вы не сможете подобрать какие-либо опубликованные экспериментальные данные, подтверждающие их, если только не будете притягивать их за уши и выбирать из обширной литературы исключительно то, что вам подходит.

Одно из крупнейших исследований по подбору фактов в академической литературе началось после статьи Лайнуса Полинга (Linus Pauling), прадедушки современной диетологии, и его основополагающей работы по приему витамина С при простуде. В1993 ГОДУ Пауль Книпшилд (Paul Knipschild), профессор эпидемиологии Университета Маастрихта, написал главу в солидный учебник «Систематические обзоры» (Systematic Reviews): он испытал значительные трудности, рассматривая публикации времен Полинга и подвергая их тому же самому строгому разбору, который вы найдете в современной литературе.

Он обнаружил, что Полинг специально выбрал те результаты исследований, которые доказывали преимущества витамина С. Если он ссылался на исследования, не подтверждающие его теорию, то называл их методологически некорректными. Правда, как показали реальные простуды, такими же оказались и статьи, которые он щедро цитировал для подтверждения своего мнения.

В защиту Полинга можно сказать, что он жил в то время, когда люди не знали лучшего выхода, и, возможно, не понимал, что делает. Сейчас тенденциозный подбор доказательств — одна из наиболее частых сомнительных практик в альтернативной медицине, в особенности в диетологии, где он фактически считается нормальным. В действительности «тенденциозный подбор фактов» — это то, что целители называют «альтернативной парадигмой». В классической медицине это тоже встречается, но есть большая разница: здесь это считается серьезной проблемой, и ведутся поиски ее решения.

Решением является «систематический обзор». Вместо того чтобы ходить вокруг да около в онлайне и выбирать самые подходящие статьи, чтобы подтвердить свои предположения и продать продукт, в систематическом обзоре у вас есть четкая стратегия поиска данных (честно описанная в вашей статье, включая даже ключевые слова, которые вы использовали при поиске в базах данных научных статей). Вы берете характеристики всех найденных исследований, дальше (в идеале вслепую по отношению к результатам) измеряете методологическое качество каждого (чтобы понять, насколько это «справедливый тест»), дальше сравниваете альтернативы и потом даете критичное, взвешенное заключение.

Именно так поступает Кохрановское сотрудничество (Cochrane Collaboration) с любой темой по здравоохранению, которую удается найти. Иногда оно даже привлекает к работе посторонних людей, чтобы те поставили новые вопросы. Такой тщательный анализ информации заполнил крупные пробелы в знаниях, он выявил, что «лучшие методы» были иногда убийственно ошибочными, и просто с помощью анализа существующих данных Кохрановскому сотрудничеству удалось спасти больше жизней, чем вы можете вообразить. В XIX веке, как сказал доктор Мюир Грей (Muir Gray), был достигнут большой успех в обеспечении чистой, прозрачной водой; в XXI веке такой же успех нужен в обеспечении ясной, понятной информацией. Систематические обзоры — это одна из великих идей современной мысли. Это нужно отпраздновать.