Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

Примечательно, однако, что в подобных стайлгайдах редко указывается, как использовать числа. Там говорится, как их писать – в газетах числа от одного до девяти (в книгах – до девяноста девяти) обычно записываются словами, а большие числа цифрами (134 или 5299); потом один миллион, 10 миллионов. Но не говорится о необходимости интерпретировать их аккуратно и ответственно, чтобы числа сообщали верную и точную информацию.

Эту книгу можно рассматривать как справочник, своего рода пособие Associated Press по правильному обращению со статистикой. Мы надеемся, что СМИ начнут следовать ему или (что тоже хорошо) увидят необходимость в таком руководстве и напишут собственное. Так что это не просто книга, а первый шаг кампании за статистическую грамотность и ответственность в медиа. Если вы журналист, мы будем очень рады, если вы возьмете нашу книгу на вооружение, а если не журналист, то мы будем рады, если вы посоветуете СМИ следовать этому или аналогичному руководству.

Кроме того, приведенные здесь советы будут полезны как напоминание, что нужно отслеживать, читая какие-либо сообщения, даже если вы не работаете в медиа.

Мы считаем, что это обязательно. Дело не в том, что никаким новостям нельзя верить; большинство журналистов – честные люди и хотят рассказывать правдивые истории. Но они, как показывает опыт Тома, в значительной мере люди слов, а не цифр. Бывают научные журналисты, но они специализируются в узкой области.

Большинство журналистов – гуманитарии, а не выпускники технических или естественно-научных факультетов, по крайней мере, судя по крохам информации, которые нам удалось найти. Это не упрек – Том и сам в университете специализировался на философии. К тому же не надо иметь научную степень по физике, чтобы овладеть базовыми знаниями в сфере цифр, которые необходимые в журналистике. Просто многие журналисты, как и их читатели, не задумываются о том, как следует преподносить числовые данные.

Вряд ли из одной небольшой книги можно узнать, как полностью избежать искажения статистических данных. При этом многие рассмотренные нами проблемы очень глубоки и системны. Например, задача обойти закон Гудхарта – опасность превращения показателей в целевые функции – остро стоит на всех уровнях управления как государством, так и компаниями. Нелегко справиться со стремлением науки, а тем более медиа, удивить мир открытиями. Заметить ошибку коллайдера или парадокс Симпсона трудно даже ученым, так что нельзя винить журналистов, которые их не видят.

Но многие из рассмотренных в книге ошибок понять легко. Если вы о них не думали, вам не приходило в голову их избегать, но после того как на них указали, почти каждый увидит, в чем проблема.

Итак, без лишних слов, вот наши самые важные предложения – наше руководство по статистике для журналистов, которые ответственно относятся к числам.

1. Помещайте числа в контекст

Спросите себя: это большое число? То, что Великобритания сливает ежегодно 6 млн тонн сточных вод в Северное море, звучит весьма тревожно. Но много ли это? Чему равен знаменатель? Какие числа вам нужны, чтобы понять, больше это или меньше, чем вы ожидали? В данном случае, вероятно, важно знать, что в Северном море 54 трлн тонн воды. (Подробности см. в главе 9.)

2. Давайте абсолютные значения риска, а не относительные

Если вы скажете, что поедание подгоревших тостов повышает вероятность возникновения грыжи на 50 %, это меня встревожит. Но пока вы не сообщите, насколько часто она вообще встречается, в вашем утверждении не будет особого смысла. Дайте читателю абсолютные значения. Лучше всего это сделать, назвав ожидаемое число пострадавших. Например: из 10 000 человек у двоих в течение жизни вылезет грыжа. Среди тех, кто регулярно ест подгоревшие тосты, этот показатель повысится с двух до трех. И осторожнее говорите о том, как быстро что-то растет. Например, политическая партия легко может оказаться самой быстрорастущей, если число ее участников удвоилось с одного человека до двух. (Подробности см. в главе 11.)

3. Проверяйте, насколько результаты исследования, о котором вы рассказываете, согласуются с результатами других исследований в этой области

Не все научные статьи равноправны от рождения. Когда ЦЕРН [42]нашел бозон Хиггса или LIGO [43]открыла гравитационные волны, эти открытия представляли самостоятельный интерес. Но если вы докладываете о новом исследовании, доказывающем пользу красного вина для здоровья, важно рассматривать его в контексте других научных работ и понимать, что оно – лишь часть общей картины. При этом стоит позвонить специалисту в той же области, который не проводил это исследование, и послушать, что он скажет о сложившейся в этой сфере ситуации. (Подробности см. в главе 14.)

4. Сообщайте о размере выборки исследования и будьте осторожны с небольшими выборками

Испытание вакцины на 10 000 участников, вероятно, устойчиво к статистическому шуму и случайным ошибкам. Совсем другая ситуация с психологическим исследованием, в ходе которого 15 студентов спросили, заставляет ли их мытье рук чувствовать себя менее виноватыми. Это не значит, что небольшие исследования всегда плохи, но вероятность получения ложных результатов в них больше, поэтому сообщайте о них с осторожностью. Мы несколько произвольно считаем, что если участников исследования меньше ста, то это должно вас насторожить. Некоторые небольшие исследования бывают очень надежными – железного правила тут нет, но при прочих равных чем больше испытуемых, тем лучше. В то же время у обзоров и опросов может не быть несмещенных выборок – будьте бдительны. (Подробности см. в главе 3.)

5. Помните о характерных для научной деятельности проблемах, таких как p-подгонка и публикационный сдвиг

Нельзя ожидать, что журналисты будут специалистами во всех областях, и трудно корить их за то, что они не замечают проблем, которых не замечают сами ученые. Но есть некоторые признаки опасности. Например, если исследование не является заявленным или хотя бы предварительно зарегистрированным, то ученые могли, уже собрав данные, пойти на попятную, чтобы найти что-то пригодное для публикации. Или же могут существовать сотни других исследований, результаты которых не обнародованы. А если результат удивителен – например, его трудно было ожидать, зная итоги ранее проведенных в этой области исследований – то он может оказаться неверным. Наука иногда удивляет, но чаще – нет. (Подробности см. в главах 5 и 15.)

6. Не выдавайте в качестве прогноза единичное число. Указывайте доверительный интервал и обосновывайте его

Если вы сообщаете, что, согласно модели Управления бюджетной ответственности, экономика в следующем году вырастет на 2,4 %, это звучит четко и наукообразно. Но если вы при этом не скажете, что их 95 %-ный доверительный интервал: –1,1 % – +5,9 %, то создадите ложное впечатление точности. Будущее неопределенно, хоть нам порой хотелось бы иного. Объясните, как составляется прогноз и почему он неточен. (Подробности см. в главах 17 и 18.)

7. Не спешите объявлять о наличии причинной связи (или подразумевать ее наличие)

Во многих исследованиях обнаруживается корреляция между