Обман в науке - Бен Голдакр

Существует несколько очень простых способов создать нелепую статистику и два самых любимых — выбрать необычную группу людей и задать им глупый вопрос. Давайте скажем, что 70 % женщин хотят, чтобы принцу Чарльзу запретили вмешиваться в общественную жизнь. Ой, подождите, 70 % женщин, которые посещают мой веб-сайт, хотят, чтобы принцу Чарльзу запретили вмешиваться в общественную жизнь. Вы видите, куда мы движемся. Конечно, в опросах, которые являются добровольными, существует предвзятость выбора: регистрируются только голоса тех людей, которые потрудились заполнить бланк опроса.

Прекрасный пример этого — статья в «Телеграф» в последние дни 2007 года под заголовком «Врачи говорят “нет” абортам в своих кабинетах». «Семейные врачи угрожают выступлением против планов правительства разрешить им делать аборт в их кабинетах», как утверждает газета Daily Telegraph. Выступлением? «По данным опроса, четыре из пяти семейных врачей не хотят проводить аборты в своих кабинетах, несмотря на то что эта идея сейчас проходит тестирование в пилотных проектах Государственной службы здравоохранения».

Откуда они берут эти цифры? Из системного опроса врачей, охотясь за теми, кто не желает отвечать? Из телефонных звонков им на работу? Из почтового опроса? Нет. Это было голосование врачей в онлайне. Вот вопрос и варианты ответов: врачи общей практики должны проводить аборты в своих кабинетах (полностью согласен, согласен, не знаю, не согласен, категорически не согласен).

Следует внести ясность. Лично я не совсем понял вопрос. Они обязаны или им следует? В каких обстоятельствах? При дополнительной подготовке, при наличии времени, за деньги? При дополнительных системах на случай неблагоприятного исхода? И не забывайте, что это веб-сайт, на который врачи заходят, чтобы пожаловаться. Может, они говорят «нет», потому что недовольны лишней работой или низкой моралью?

И кроме того, что здесь означает аборт? Посмотрев комментарии на форуме, я понял, что многие врачи говорят о хирургическом аборте, а не просто об относительно безопасных оральных пилюлях для прерывания беременности. Доктора же не такие сообразительные. Вот несколько цитат:

«Возмутительная идея. Как врачи общей практики могут проводить аборты в своих кабинетах? А что если возникнут осложнения, например перфорация матки или кишечника?»

«Кабинеты врачей — это места, где присутствуют инфекционные заболевания. Идея проведения там стерильных процедур, затрагивающих брюшные органы, — абсурд».

«Единственная возможность проведения таких операций — это наличие специальных хирургических стационаров одного дня, полностью оборудованных и укомплектованных персоналом — анестезиологом, гинекологом… Любая операция — это риск, и возможно, нам надо пройти гинекологическую хирургическую подготовку, чтобы выполнять аборты».

«О чем мы вообще говорим? Давайте делать аборты в наших кабинетах, гостиных, на кухнях, в гаражах, магазинах на углу, как в прежние времена».

А вот мое любимое:

«Я думаю, что вопрос плохо сформулирован, и надеюсь, что [врачебный веб-сайт] не будет предоставлять результаты этого опроса в Daily Telegraph».

Было бы неправильно предположить, что те оплошности, которые мы освещали до сих пор, ограничены низшими эшелонами общества — врачами, журналистами. Некоторые из наиболее отрезвляющих примеров касаются самой верхушки.

В 2006 году, после появления правительственного отчета, СМИ сообщили, что одно убийство в неделю совершается психически нездоровым человеком. Газеты упрекнули психиатров в том, что они делают недостаточно для предотвращения подобных убийств. Все согласятся, я уверен, с любой разумной мерой по уменьшению риска насилия, и было бы своевременно обсудить публично этическую сторону изоляции психически больных (хотя, честно говоря, я был бы также не против обсуждения превентивной изоляции других групп риска — алкоголиков, хулиганов, людей, склонных к насилию, и т. д.).

Но чтобы завязать такую дискуссию, необходимо понимать математику предсказания очень редких событий. Давайте возьмем конкретный пример и посмотрим на ВИЧ-тест. Какие черты любой диагностической процедуры мы измеряем, чтобы судить о ее пользе? Статистики скажут, что анализ крови на ВИЧ имеет высокую чувствительность 0,999. Это означает, что если у вас есть вирус, то анализ крови покажет его наличие с вероятностью 99,9 %. Они также скажут, что этот тест имеет высокую специфичность — 0,9999, то есть если вы не инфицированы, то тест будет отрицательным с вероятностью 99,99 %. Шикарный тест[50].

Но если вы посмотрите на этот тест с точки зрения того, кого тестируют, математика станет слегка противоречивой. Поскольку, как это ни странно, значение, или прогностическая ценность, положительного или отрицательного теста того или иного человека меняется в разных ситуациях, в зависимости от того, насколько редким является событие, которое определяется с помощью этого теста. Чем реже событие в данной популяции, тем хуже становится тест, даже если это тот же самый тест.

Это легче понять на конкретном примере. Допустим, что распространенность ВИЧ-инфекции среди людей в группе высокого риска в данной местности 1,5 %. Мы проводим наш анализ крови на 10 000 человек и можем ожидать 151 положительный результат; из них 150 будут истинно положительными (люди действительно имеют этот вирус) и один — ложноположительным, поскольку (исходя из вышесказанного) мы можем ожидать один неправильный результат на 10 000 анализов. Поэтому, если у вас положительный результат в этих обстоятельствах, это означает, что шанс, что вы действительно заражены вирусом, составит 150 из 151. Это высокая прогностическая ценность.

Давайте рассмотрим тот же пример, но в ситуации, где распространенность вируса составляет 1:10 000. Если мы проверим 10 000 человек, мы будем ожидать два положительных результата. При этом один из этих людей действительно имеет ВИЧ, а другой результат — тот самый ложноположительный, который мы можем ожидать при анализе 10 000 человек.

То есть, если общая частота события невелика, даже блестящий тест может стать, мягко говоря, неточным. Из двух людей с положительным результатом в этой группе населения один будет действительно ВИЧ-инфицирован, а другой — нет. Шанс на то, что вы действительно ВИЧ-положительны, 50:50.

Давайте свяжем это с насилием. Самый лучший прогностический тест для психиатрического насилия имеет чувствительность 0,75 и специфичность 0,75. Еще труднее быть точным, если мы имеем дело с человеческим сознанием и меняющейся человеческой жизнью. Допустим, что 5 % пациентов, осмотренных бригадой психиатров в данном сообществе, в течение года совершат насильственное действие. Используя тот же самый математический метод, что и в случае с ВИЧ-тестом, мы узнаем, что наш лучший прогностический инструмент будет ошибаться в 86 случаях из 100. Для серьезного насилия, частота которого составляет 1 % в год, наш тест с чувствительностью 0,75 неправильно укажет на потенциального насильника 97 раз из 100. Стоит ли превентивно изолировать 97 человек, чтобы предотвратить три случая насилия? И стоит ли применять это в отношении алкоголиков и прочих антисоциальных типов?

Для убийства, самого редкого преступления среди пациентов с психозом, происходящего с частотой 1:10 000 в год, уровень ложноположительных результатов будет настолько высок, что лучший прогностический тест будет совершенно бесполезен.

Это не крик отчаяния. Есть вещи, которые можно делать, и вы можете попытаться снизить число насильственных преступлений, хотя трудно сказать, сколько «убийств в неделю» представляют собой явный провал системы, потому что, когда вы оглядываетесь назад и смотрите в ретроспектроскоп, может показаться, что все, что происходит, недвусмысленно ведет к одному негативному событию. Я только привожу вам математические выкладки для редких событий. Что с этим делать, решайте сами.

В 1999 году юрист Салли Кларк (Sally Clark) предстала перед судом по обвинению в убийстве двух своих детей. Большинство людей сейчас знают, что в обвинении была допущена статистическая ошибка, но немногие знают истинную историю, или феноменальную степень статистического невежества, которая была продемонстрирована в суде. На процессе профессор Рой Медоу (Roy Meadow), эксперт, специализирующийся на родительском насилии над детьми, давал свидетельские показания. Медоу заявил (эта цитата стала знаменитой), что шанс того, что два ребенка в одной семье могли умереть от синдрома внезапной младенческой смерти (СВМС), равен 1 к 73 миллионам.

Это было очень сомнительное свидетельство по двум причинам: одну понять легко, вторую сложно. Поскольку вам придется сконцентрироваться на двух следующих страницах, вы будете более осведомлены в этом вопросе, чем профессор Рой Медоу, судья на процессе Салли Кларк, ее адвокаты, судьи апелляционного суда и почти все журналисты, освещавшие процесс. Сначала займемся легкой причиной.