Обман в науке - Бен Голдакр

Важная особенность хорошего исследования — то, что ни пациент, ни врач не знают, получает ли пациент гомеопатическое средство или просто сахарную пилюлю, потому что нужно быть уверенным, что разница в результатах обусловлена разницей между пилюлями, а не между ожиданиями и склонностями пациентов. Если исследователи знают, кто из их пациентов получает лекарство, а кто — плацебо, они могут испортить результаты, сознательно или неосознанно изменяя свою оценку этих результатов.

Допустим, я собираюсь испытать таблетки для понижения кровяного давления. Я знаю, кто из моих пациентов принимает новые дорогие таблетки для понижения давления, а кто — плацебо. Один из пациентов, принимающих модные таблетки для понижения давления, подходит ко мне и говорит, что у него давление зашкаливает, то есть гораздо выше, чем я могу ожидать, с учетом того, что он принимает новое дорогое средство. Поэтому, «просто чтобы убедиться в отсутствии ошибки», я повторно измеряю его давление. Следующие цифры ближе к норме, поэтому я их и записываю, не обращая внимания на высокие предыдущие.

Измерение кровяного давления, как и интерпретация ЭКГ, рентгенограммы или оценка боли по шкале, не является абсолютно точным. Я иду на обед, не зная, что я тихо и спокойно порчу данные, разрушаю исследование, создаю неточные свидетельства, то есть в конечном счете убиваю людей (потому что самая серьезная ошибка — забыть, что данные используются для принятия серьезных решений в реальном мире и приводят к страданиям и смертям).

В истории современной медицины есть несколько прекрасных примеров того, как невозможность обеспечить слепой эксперимент закончилась ошибочной оценкой эффективности метода лечения. Например, мы не знали, правда ли, что лапароскопические операции лучше полостных, пока группа хирургов из Шеффилда не провела очень театрализованное исследование, в котором использовались бинты и искусственные потоки крови, чтобы никто не знал, какого типа операция была проведена.

Несколько крупных фигур доказательной медицины провели исследование слепых экспериментов при исследовании лекарств и выяснили, что недостаточно слепые эксперименты преувеличивали преимущества изучаемых лекарств примерно на 17 %. Слепой эксперимент — это не тайный элемент придирок таких педантов, как я, для «наездов» на альтернативную медицину.

Если обратиться к более близким к гомеопатии темам, то обзор исследований воздействия акупунктуры на боль в спине показал, что при корректном слепом исследовании преимущество акупунктуры очень мало и статистически незначимо (к тому, что это означает, мы вернемся позже). Между тем, если исследование не было слепым (пациенты знали, к какой группе относились), преимущество акупунктуры было серьезным и статистически значимым. Если интересно, то плацебо для акупунктуры — это имитация процесса с ненастоящими иглами или иглами в неправильных местах, хотя с этим могут быть сложности, так как разные школы акупунктуры считают разные места правильными.

Итак, очевидно, что слепой эксперимент важен и не каждое исследование можно считать достаточно хорошим. Вы не можете просто сказать: «Вот исследование, подтверждающее, что метод лечения действует», — потому что существуют хорошие и плохие исследования. Если врачи и ученые говорят, что исследование проведено с ошибками и недостоверно, это не потому что они такие нехорошие или пытаются сохранить свое господствующее положение или не пустить взяточников в фармакологию: это просто потому, что исследование было проведено неправильно (слепой эксперимент дополнительных денег не требует) и не было достоверным.

Давайте на время оставим теорию и посмотрим на исследования, которые, по словам гомеопатов, подтверждают действенность их методов. У меня перед глазами стандартный обзор исследований гомеопатической арники, за авторством Эдварда Эрнста, где мы и найдем примеры. Стоит понять, что такие неточности не уникальны, а я не злобствую и не пытаюсь приписать лишнего. Мы просто проделаем то же, что медики и академики делают для оценки достоверности доказательств.

Итак, Гильдебрант с соавторами (как говорят в академии) изучил 42 женщины, которые принимали гомеопатическую арнику от болей в мышцах, и выяснил, что арника действует лучше, чем плацебо. На первый взгляд это правдоподобное исследование, но если присмотреться, то видно, что рандомизация не описана. Рандомизация — это еще одно базовое понятие клинических исследований: мы случайным образом распределяем пациентов по группам, принимающим плацебо и гомеопатические пилюли, так как в другом случае есть шанс, что доктор или гомеопат, сознательно или бессознательно, направит пациентов, думающих, что они выздоровеют, в группу гомеопатии, а не надеющихся — в группу плацебо, тем самым исказив результаты.

Рандомизация — это не новая идея. Жан Баптиста ван Гельмонт (John Baptista van Helmont) впервые предложил своим современникам-академикам сравнить их способы лечения, такие как кровопускания и клизмы (основанные на теории), с его способами, основанными на клинической практике. «Давайте возьмем из госпиталей, приютов или еще откуда-нибудь 200 или 500 больных с лихорадками, плевритами и т. д. Потом разделим их на две группы: одну лечите вы, другую — я… Посмотрим, у кого будет меньше могил».

Сейчас сложно найти столь беззаботного экспериментатора, который бы вообще никак не рандомизировал исследование, даже в области альтернативной медицины. Но удивительно часто встречаются исследования, в которых метод рандомизации некорректен: на первый взгляд они правдоподобны, но если присмотреться, то выяснится, что рандомизация была просто представлением, на самом деле сохранявшим для экспериментатора возможность влиять, сознательно или бессознательно, в какую группу будет направлен пациент.

В некоторых недостоверных исследованиях, во всех областях медицины, пациентов распределяют в группы по тому, как они записались на исследование: первый — в экспериментальную, второй — в контрольную, третий — в экспериментальную, четвертый — в контрольную и т. д. Это выглядит достаточно объективно, но, по сути, создает возможность систематических ошибок в исследовании.

Представим себе пациента, которого гомеопат считает безнадежным, сердечника, которому не станет лучше, какое бы лечение он или она ни получал, а следующий принимаемый пациент идет в «гомеопатическую» группу. Понятно, что сознательно или подсознательно гомеопат может счесть, что этот пациент «вряд ли будет заинтересован в участии в исследовании». Но если этот безнадежный пациент придет тогда, когда принимают в группу плацебо, экспериментатор примет его с большим удовольствием.

То же самое относится ко всем остальным некорректным методам рандомизации: по последней цифре в дате рождения, по дате появления в клинике и т. п. Есть ряд исследований, заявляющих, что пациентов распределяли, подбрасывая монетку, но, на мой взгляд (и на взгляд медиков), подбрасывание монетки тоже оставляет пространство для манипуляций. «По результатам трех бросков и все. Извините, по результатам пяти. Ой, я действительно ее не заметил, что она упала на пол».

Есть целый ряд, несомненно, корректных методов рандомизации, и хотя для их применения требуется здравый смысл, они почти ничего не стоят. Классический вариант — пациент звонит на специальный номер, где ему отвечает человек с генератором случайных чисел (а врач вообще не задействован до тех пор, пока пациент не включен в исследование). Это наиболее популярный метод среди дотошных исследователей, собирающих подтверждения тому, что они проводят достоверные исследования, просто потому что нужно быть бесспорным обманщиком, чтобы спутать результаты, и для этого придется потрудиться. К высмеиванию шарлатанов мы вернемся несколько позже, а сейчас мы говорим об одной из наиболее важных идей в современной интеллектуальной истории.

Имеет ли рандомизация значение? Как и в случае со слепотой эксперимента, эффект рандомизации изучали на большом количестве исследований и выявили, что нечестные методы рандомизации приводили к преувеличению эффектов от лечения на 41 %. По-настоящему серьезная проблема низкокачественных исследований не в том, что в них использовался некорректный метод рандомизации, а в том, что они вообще не указывали, каким способом делили пациентов на группы.

Это классический предупреждающий знак, часто говорящий о том, что исследование было проведено неправильно. И опять это не предубеждение: исследования с нечеткими методами рандомизации ведут к переоценке эффектов лечения на 30 %, что очень похоже на действие откровенно неработающего метода рандомизации.

На самом деле всегда стоит беспокоиться, если люди не сообщают о существенных деталях своих действий или результатов. Уже описаны два исследования, ставшие классическими,