Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

то убийца будет выявлен правильно, но при этом еще у 20 невиновных будут ложноположительные результаты. Поэтому, даже если вероятность такого результата при тестировании невиновного человека составляет всего одну трехмиллионную, вероятность того, что любой случайный человек, получивший положительный результат, окажется невиновным, составляет более 95 %.

В реальной жизни обвиняемые не выбираются случайным образом; обычно есть и другие доказательства, а это значит, что априорная вероятность больше одной шестидесятимиллионной. Но, как и в случае с анализом крови, знание вероятности ложноположительного результата тестирования ДНК не подтверждает виновность: нужна еще априорная вероятность, какая-то оценка вероятности того, что этот человек виновен.

В декабре 1993-го апелляционный суд отменил приговор Дина, объявив его необоснованным, потому что и судья, и судебный эксперт стали жертвами ошибки прокурора. (Впоследствии, в ходе пересмотра судебного дела, он все равно был осужден.)

Точно так же трагическое дело Салли Кларк, осужденной в 1998 году за убийство своих детей, обернулось ошибкой прокурора из-за свидетельских показаний эксперта. Он сказал, что вероятность гибели от синдрома внезапной детской смерти (СВДС) двух младенцев в одной семье составляет 1:73 млн. При этом он не учел априорную вероятность человека оказаться двойным убийцей, которая еще меньше. (Там были и другие проблемы: эксперт не учел, что, если в семье уже был один случай СВДС, вероятность второго увеличивается.) Дело Кларк тоже было пересмотрено – в 2003 году.

Так что же с иммунными паспортами? Если ваш тест на антитела положительный, даже если его чувствительность и специфичность составляют 95 %, вы не знаете, насколько вероятно, что вы перенесли это заболевание. Тут важно, насколько вероятно, что вы болели до того, как прошли тестирование, – это ваша априорная вероятность. Самое очевидное условие – степень распространенности заболевания среди населения.

Предположим: переболело 60 % населения, и вы протестируете миллион человек, тогда среди них будет 600 тысяч переболевших и 400 тысяч не болевших. При этом ваш тест правильно выявит 570 тысяч переболевших и неправильно укажет 20 тысяч человек как переболевших. Так что, если ваш результат положителен, то шансы, что он ложноположителен, составляют всего 3 %.

Но если переболело лишь 10 % населения, тогда из вашего миллиона человек переболевшими окажутся 100 тысяч, из которых тест правильно выявит 95 тысяч, но зато из оставшихся 900 тысяч он объявит болевшими 45 тысяч. Поэтому если вы получите положительный результат, то с вероятностью 32 % вы все-таки не болели, только теперь будете считать, что уже защищены, и поэтому можете гулять по улицам, навещать пожилых родственников и работать в домах престарелых.

Опять-таки все эти числа верны, если вы тестируете случайных людей. Ваши оценки будут точнее, если вы протестируете людей, у которых наблюдались основные симптомы болезни. Тогда вы будете проверять тех, кто с большей вероятностью переболел, так что положительный тест будет более убедительным. Ваша априорная вероятность будет выше. Но пока у вас нет какой-то оценки этой априорной вероятности, вы не можете знать, что означают результаты теста.

Эту концепцию трудно понять – и не только читателям и журналистам. В ходе проведенного в 2013 году исследования были опрошены почти 5000 американских ординаторов, специалистов в области акушерства и гинекологии, то есть квалифицированных врачей. Им было предложено вычислить вероятность того, что у человека рак, если известно, что эта болезнь у 1 % населения, а человек получил положительный результат при тестировании с 90 %-ной точностью. Верный ответ – около 10 %, но даже при выборе из заданных ответов 74 % докторов ошибались.

Однако эта концепция очень важна. Важна, потому что мы читаем публикации о массовых профилактических обследованиях, о тестировании на наличие заболевания и т. д. и без этой информации может показаться, что положительный результат при тестировании с 95 %-ной точностью означает, что человек болен с вероятностью 95 %. Но это не так. Когда вы читаете статью про тесты с 99 %-ной точностью, идет ли речь о массовом тестировании на рак, о ДНК-профилировании, ковиде или еще о чем-то, относитесь к ней с осторожностью, если там не уделяется внимание этим вопросам.

Глава 11

Риски абсолютные и относительные

В 2018 году The Daily Telegraph опубликовала устрашающую новость для возрастных отцов: у мужчины, ставшего родителем в 45 лет и позже, «дети с большей вероятностью имеют врожденные проблемы со здоровьем». В частности, у таких детей вероятность судорожных приступов на 18 % выше, чем у детей, родившихся у мужчин в возрасте от 25 до 34 лет. Честно говоря, это было приятным отступлением от популярных страшилок о повышенных рисках (обычно чудовищно преувеличенных) бесплодия и различных врожденных дефектов, которыми пугают старородящих матерей.

В основе этой статьи лежало исследование из British Medical Journal (BMJ), в котором изучалось, как на ребенка влияет возраст отца. В нем действительно отмечался рост упомянутых рисков. Но кое-что в материале The Telegraph не уточнялось: на 18 % больше, чем сколько?

Когда что-то выросло на 75 % или уменьшилось на 32 % и так далее – это все относительные изменения. Если мы говорим о рисках – что-нибудь в таком духе: у того, кто съедает пять и более жареных лебедей в неделю, риск когда-либо в жизни заболеть подагрой возрастает на 44 %, – то речь идет об относительных рисках.

Так часто говорят про риски. Например, в 2019 году на канале CNN объявили, что бекон повышает вероятность заболеть раком кишечника: она возрастает на 20 % с каждыми съеденными 25 граммами (примерно одним ломтиком) переработанного мяса в день.

Или, возвращаясь к риску врожденных пороков, связанных с возрастом отца: в 2015 году было заявлено, что дети отцов-подростков с большей вероятностью – на 30 %, по мнению Daily Mail, – будут страдать от «аутизма, шизофрении и расщепления позвоночника».

Звучит устрашающе. Как и увеличение на 20 или на 18 %. Все эти числа кажутся значительными. Вам даже может показаться, что вероятность заболеть раком кишечника для вас составляет 20 %, если вы будете есть бекон, или что ваш ребенок будет страдать от расщепления позвоночника с вероятностью 30 %, если вы станете родителем, не достигнув 20 лет.

Конечно, смысл этих утверждений иной. 30 %-ный рост означает, что ваш риск возрастает с некоторого значения X до значения 1,3, умноженного на X. Но если вам неизвестно X, это мало что дает. Вот почему такую информацию следует формулировать в контексте абсолютных рисков: сообщать, насколько вероятно наступление того или иного события, а не то, насколько эта вероятность изменилась.

Что касается опасности развития онкологического заболевания для любителей бекона, согласно Фонду исследований рака, базовая вероятность заболеть раком кишечника на протяжении всей жизни в Великобритании составляет около 7 % для мужчин и около 6 % для женщин.

Очевидно, это не так уж мало – примерно одна пятнадцатая, в зависимости от пола, заболеть. А теперь посмотрим, что означает 20 %-ное увеличение.

Возьмем наибольшую оценку. Предположим, вы – британский мужчина. Вероятность заболеть раком кишечника для вас составляет 7 %. Ежедневно вы съедаете по дополнительному ломтику бекона (около 25 г). Это повышает для вас риск на 20 %.

Но помните: