Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

те случаи, когда Х происходит. В научном эксперименте независимая переменная – это то, что вы меняете (например, доза лекарства, которое выдается участникам эксперимента). Зависимая переменная – это то, что вы измеряете, чтобы проверить, меняется оно или нет (например, процент выживших).

Представьте: вы решили выяснить, ведет ли потребление воды к артриту (ваша зависимая переменная – наличие артрита). Посмотрев на всех больных артритом, вы быстро поймете: все они пили воду. Но поскольку тех, у кого нет артрита, вы не рассматриваете, вы не знаете, пьют ли больные артритом больше воды, чем все остальные.

Казалось бы: зачем говорить о таких явных ошибках? Однако их совершают сплошь и рядом. Как только происходит массовая стрельба, СМИ смотрят на биографию стрелка и находят, что тот играл в жестокие видеоигры. Дональд Трамп делал такие заявления после инцидентов со стрельбой в Эль-Пасо (Техас) и в Дейтоне (Огайо) в 2019 году.

Но это столь же очевидный пример выбора по зависимой переменной, как и в случае с водой и артритом. Вопрос не в том, играют ли организаторы массовой стрельбы в жестокие видеоигры, а в том, играют ли они в эти игры больше других людей. (А еще надо посмотреть на направление причинной связи: становятся ли они жестокими, потому что играют в жестокие игры, или играют в такие игры, потому что жестоки. О причинно-следственной связи мы говорили в главе 8.)

Так как подавляющее большинство молодых людей играет в жестокие видеоигры и почти все школьные стрелки – молодые люди, крайне вероятно, что любой из них играл в Call of Duty или какой-то другой шутер от первого лица. Сообщения, что массовый убийца играл в жестокую видеоигру, удивляют немногим больше, чем утверждение, что он ел пиццу или носил футболку. На самом деле минимум одно исследование показало, что распространение таких видеоигр приводит к снижению числа убийств. Возможно, просто потому что люди, которые могли бы выйти из дома и выплеснуть агрессию, остаются у себя в комнате и играют в Grand Theft Auto V.

Мы тут говорили о СМИ, но сильнее всего ошибка выжившего и выбор по зависимой переменной сказываются на источниках научных новостей. Медиа часто рассказывают об исследованиях, но очевидным образом только об опубликованных. Беда в том, что обнародованные работы – и те, что попадают в новости, – не единственные бомбардировщики, вылетающие с авианосца; это только те, что смогли вернуться на базу.

Как мы видели в главе 15, из-за погони за новизной чаще всего публикуются те исследования, в которых получились интересные результаты.

Предположим, вы тестируете антидепрессант. На самом деле он бесполезен, но вы пока этого не знаете. Если провести десять исследований (особенно небольших), результаты могут слегка разниться: пять покажут отсутствие эффекта; в трех окажется, что препарат вызывает ухудшение, а два продемонстрируют небольшое улучшение. Фактически препарат не работает, но чисто случайно разные испытания дают разные результаты.

А теперь вспомним главу 15: поскольку новый, интересный (а для производителя и выгодный) результат – «лекарство работает», те исследования, в которых препарат окажется эффективным, скорее будут опубликованы в научном журнале. Поэтому может случиться так, что результаты восьми работ, в которых обнаружили отрицательный или нулевой эффект, исследователь отложит в долгий ящик. И если кто-то захочет сделать обзор, то найдет только две опубликованные статьи с выводом, что антидепрессант работает. И тогда врачи могут начать его прописывать, потому что его эффективность, по-видимому, подтверждена научно.

Так и бывает в реальности, и это приводит к реальным проблемам и убивает реальных людей. Одно исследование показало, что в 94 % опубликованных статей об испытаниях антидепрессантов обнаруживаются положительные результаты, но когда учитываются и неопубликованные результаты, процент снижается до 51.

У этой ошибки есть и второй уровень: если вы читаете о научном исследовании в СМИ, значит, его сочли достаточно интересным для новости. «Новое исследование показало, что подгоревший тост на самом деле не вызывает рака» или «Фейсбук не засоряет детям мозги, обнаружили ученые» – вряд ли вызовут большой ажиотаж. Если вы прочли в газете о научном исследовании, вспомните, что оно уже выполнило два боевых задания и вернулось на базу. Это не значит, что оно неверное, – это просто повод проявить бдительность: вы же не знаете, сколько других исследований на эту тему были сбиты.

Итак: можно ли предсказать книге судьбу бестселлера с помощью алгоритма? Помогает ли мужской псевдоним издаваться женщинам? Неизвестно. Мы же не знаем, сколько женщин с мужскими псевдонимами не смогли опубликовать свои произведения. И может ли алгоритм с 97 %-ной вероятностью предсказать, что книга станет бестселлером? Почти наверняка нет, если только не были учтены все остальные книги, которые не стали бестселлерами или вообще не вышли. Можно рассмотреть всех стрелков и убедиться, что они играли в жестокие видеоигры, но это вовсе не говорит о том, что именно это толкает на убийства. Точно так же вы можете отыскать какие-то общие для всех бестселлеров характеристики лексики или сюжета, но кто знает, сказались ли на продажах именно они. Вы смотрите лишь на самолеты, добравшиеся до базы, и обращаете внимание лишь на пулевые отверстия в их крыльях.

Глава 21

Ошибка коллайдера

В начале пандемии наблюдался странный феномен: среди госпитализированных с ковидом доля курильщиков была меньше, чем среди остального населения. Этот факт упоминался и в Daily Mail, отметившей, что во французских больницах хотят попробовать применять никотиновые пластыри в лечении.

Это очень странно. Курение крайне вредно; среди пристрастий, которым подвержена существенная доля населения, именно оно, по-видимому, наносит наибольший прямой вред. Причем оно опасно тем, что губит респираторную систему, вызывает рак легких, хроническую обструктивную болезнь легких, эмфизему – все это заболевания, снижающие способность организма вдыхать кислород и доставлять его туда, где он нужен. А поскольку ковид – это респираторное заболевание, естественно было бы ожидать, что курение снижает, а не повышает шансы на выживание.

Но как бы странно и нелогично это ни выглядело, зависимость была налицо. В чем же тут дело?

Есть проявляющаяся время от времени статистическая аномалия под названием «ошибка коллайдера». Она выдает настолько странные результаты, что настоящие взаимосвязи кажутся исчезнувшими или же на пустом месте создаются воображаемые зависимости. Порой из-за нее реальность искажается с точностью до наоборот.

В главе 7 мы говорили о контролировании искажающих факторов. Представьте, что вы проводите исследование с целью определить, скорость, с которой бегают люди. И заметили такой феномен: в среднем чем больше у человека седых волос, тем медленнее он пробегает милю.

Возможно, седина замедляет бег. Или скорее оба фактора связаны с неким третьим – возможно, с возрастом. Видимо, чем человек старше, тем больше у него