Ни кошелька, ни жизни - Саймон Сингх

Сам термин “метаанализ”, вероятно, многим читателям незнаком, однако это понятие неожиданно возникает в целом ряде привычных ситуаций, когда важно осмыслить большое количество данных. Например, в преддверии всеобщих выборов несколько газет публикуют опросы избирателей – и результаты оказываются противоречивыми. В такой ситуации разумно свести воедино данные всех опросов, что позволит сделать более надежное заключение, чем любой отдельный опрос, поскольку такой метаопрос полнее отражает мнения гораздо большего числа избирателей.

Достоинства метаанализа станут очевидны, если мы попробуем разобраться с некими гипотетическими наборами данных по астрологии. Если бы ваш характер определялся знаком зодиака, по результатам беседы с вами астролог должен был бы его определить. Представьте, что пять конкурирующих групп проводят эксперименты в разных уголках земного шара. В каждом случае одного и того же астролога просят после пятиминутного разговора с клиентом сказать, под какой звездой он родился. В экспериментах участвует от 20 до 290 человек, однако протокол всех экспериментов одинаков.

Просто угадывая, удавалось бы дать правильный ответ в одном случае из двенадцати, так что астролог, чтобы доказать могущество астрологии, должен верно определять знак зодиака значительно чаще. Результаты пяти экспериментов оказались такими:

Эксперимент 112 правильных догадок из 170 (или 0,85 из 12)

Эксперимент 215 правильных догадок из 50 (или 1,20 из 12)

Эксперимент 315 правильных догадок из 20 (или 3,00 из 12)

Эксперимент 416 правильных догадок из 70 (или 1,03 из 12)

Эксперимент 521 правильная догадка из 290 (или 0,87 из 12)

Если рассматривать третий эксперимент отдельно, кажется, будто астрология работает, поскольку пять верных предположений из двадцати – это гораздо больше, чем можно было просто угадать. Более того, в большинстве экспериментов (в трех из пяти) количество верных догадок выше ожидаемого, так что вполне можно было бы решить, что результаты в целом демонстрируют необычные возможности астрологии. Однако метаанализ приводит к другому выводу.

Метаанализ начался бы с замечания, что количество попыток, сделанных астрологом в каждом эксперименте, было достаточно мало, а следовательно, результаты каждого эксперимента можно объяснить чистой случайностью. Иначе говоря, результат любого из этих экспериментов, по сути, не имеет смысла. Затем исследователь, проводящий метаанализ, объединил бы все данные отдельных экспериментов, словно они были частью одного большого опыта. Получилось бы, что астролог верно определил знак зодиака у 49 человек из 600 (или у 0,98 из 12), а это уже очень близко к доле успешных угадываний по чистой случайности (1 из 12). Итак, вывод этого гипотетического метаанализа состоял бы в том, что астролог не продемонстрировал никаких способностей, позволяющих определять знак зодиака человека по чертам его характера. Такой вывод гораздо надежнее всего, что можно было бы заключить из любого эксперимента меньшего масштаба. Выражаясь научным языком, можно сказать, что метаанализ минимизирует случайные и систематические ошибки.

Вернемся к медицинским исследованиям. Метаанализы проводили для оценки самых разных методов лечения. Например, в 1980-х годах исследователи решили узнать, помогает ли кортикостероидная терапия в профилактике респираторных заболеваний у недоношенных младенцев. Ученые разработали протокол испытаний, согласно которому беременным женщинам с повышенным риском преждевременных родов проводили кортикостероидную терапию, а затем наблюдали рожденных ими детей. В идеале нужно было провести одно испытание в конкретной больнице, охватив большое число женщин, однако за год в каждой отдельно взятой больнице можно было выявить лишь единицы подходящих случаев, а значит, при таком отборе испытуемых на накопление достаточного количества данных ушли бы годы. Вместо этого ученые провели несколько испытаний в разных больницах. Результаты по каждой были свои, поскольку младенцев было мало, а влияние случайных факторов велико. Однако метаанализ всех испытаний достоверно показал, что кортикостероидная терапия во время беременности благотворно влияет на недоношенных новорожденных. Эта терапия – одна из причин резкого снижения смертности от респираторного дистресс-синдрома среди новорожденных: в начале 1950-х годов в Америке от него гибло 25 000 младенцев, а сегодня – меньше 500.

Провести метаанализ при исследовании состояния недоношенных младенцев не составило большого труда, поскольку отдельные испытания проходили по похожей схеме, а следовательно, их результаты легко объединялись. То же можно сказать о гипотетическом примере с астрологией. К сожалению, часто это тяжелая работа, ведь отдельные испытания, как правило, проводятся совсем по-разному: например, в случае проверки одного и того же лекарственного средства различаются дозировки, период наблюдения и так далее. Метаанализ, который задумал осуществить Линде, представлялся особенно проблематичным. Чтобы сделать вывод об эффективности гомеопатии, ученый собирался охватить испытания широкого диапазона гомеопатических средств в самых разных разведениях при различных заболеваниях – от легких ожогов до астмы.

Линде тщательно изучил компьютерные базы данных, побывал на множестве гомеопатических конференций, навел справки у специалистов в изучаемой области – и в итоге у него на руках оказалось 186 опубликованных исследований по гомеопатии. Затем он решил исключить из метаанализа результаты тех испытаний, которые не удовлетворяли определенным условиям. Например, в подходящем исследовании помимо контрольной группы и получавшей гомеопатическое лечение должно было присутствовать и плацебо для контрольной группы либо случайное распределение пациентов по лечебной и контрольной группам. После отбора осталось 89 испытаний, а за ним последовало несколько месяцев скрупулезного статистического анализа, который должен был обеспечить надлежащий вклад каждого испытания в окончательный вывод. Так, совсем небольшое исследование должно было иметь очень малый вес, поскольку надежность результатов испытания тесно связана с количеством испытуемых.

Результаты метаанализа были опубликованы в сентябре 1997 года в журнале Lancet. Эта медицинская статья оказалась одной из самых спорных за весь тот год, поскольку ее вывод говорил в точности то, о чем твердили гомеопаты вот уже двести лет. Пациенты, получавшие гомеопатическое лечение, в среднем демонстрировали признаки улучшения гораздо чаще, чем пациенты в контрольных группах, получавшие плацебо. Вывод гласил: “Результаты нашего метаанализа не соответствуют гипотезе, согласно которой клиническое воздействие гомеопатии сводится исключительно к эффекту плацебо”. Одним словом, метаанализ показал, что гомеопатия лечит.

Неудивительно, что противники этого метода нетрадиционной медицины засомневались в выводе Линде. Они подозревали, что его метаанализ грешил небрежностью, охватив много достаточно некачественных исследований, и опасались, что это исказило общий вывод. Гомеопаты возражали, что Линде уже задал нижнюю границу качества именно так, чтобы исключить ненадежные исследования. Напомним, что Линде учитывал только плацебо-контролируемые или рандомизированные испытания. Однако критиков это не убедило: по их мнению, порог качества был недостаточно высок.

Вообще, так как исследования низкого качества с большей вероятностью дают неверные результаты, ученые разработали специальные методы оценки качества и отсеивания тех испытаний, которые нельзя принимать всерьез. Например, так называемая шкала Джадада, разработанная в 1996 году Алехандро Джададом и его коллегами из Оксфордского университета, позволяет присвоить исследованию от 0 (очень плохое) до 5 (строгое) баллов. Эта система добавляет и снимает баллы в зависимости от того, что вошло в опубликованную статью, рассказывающую о результатах испытаний. Например, если в статье подтверждается, что имела место рандомизация больных, исследование получает балл, однако он может быть снят, если окажется, что процедура проведена некорректно. Балл присуждается и в том случае, если в статье говорится, как поступали с данными от больных, которые по разным причинам выбыли из испытаний. Если исследователи подробно продумали это и взяли на себя труд описать выбранную процедуру в статье, значит, общий уровень строгости был довольно высок.

Критики указали, что 68 исследований из 89, участвовавших в метаанализе Линде, получили по шкале Джадада не больше 3 баллов, а значит, три четверти испытаний не отвечали строгим стандартам. Более того, критики отметили, что если ограничить метаанализ только высококачественными исследованиями, получившими 4 или 5 баллов (всего 21 исследование), кажущаяся эффективность гомеопатии резко падает: польза от нее либо вовсе отсутствует, либо совсем невелика. К сожалению, на основании всех доступных данных по 21 исследованию различить эти два варианта не представилось возможным.