Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

допустим, в 15:50 некая лихая волна умудряется коснуться крепости. Потом море снова становится спокойнее. Если вы будете фиксировать путь самой бойкой волны из всех, приходящих в течение каждых пяти минут, у вас получится нечто подобное такому графику (где виден неравномерный, но явный рост с одним всплеском):

А теперь представим, что вам не терпится вернуться домой, ведь ребенку пора полдничать. Вы хотите убедить его, что на самом деле идет отлив и нет смысла ждать разрушения замка, так что всем нужно забраться в машину. Как это сделать?

Довольно просто: надо правильно выбрать стартовую точку. Вы говорите ребенку: «Смотри – в 15:50 волна зашла на берег на 26 метров. Прошло 50 минут, но больше она так далеко не заходила. С 15:50 вода не поднималась».

В общем, это верно: волны действительно с тех пор так далеко не заходили, но в целом это надувательство. Если выбрать для начала отсчета любую другую точку, виден стойкий подъем. Эта единичная резвая волна – то ли моторка пронеслась, то ли кит ударил хвостом – выбивается из ряда других, но не меняет общей тенденции роста.

Было бы странно провернуть что-то подобное со своим ребенком, но вообще такой подход к данным встречается повсеместно. В 2019 году The Sunday Times на первой полосе объявила, что «доля самоубийств среди подростков за последние восемь лет почти удвоилась». Это была манипуляция, аналогичная той, что проделал наш воображаемый отец со своим ребенком, только наоборот. За начало отсчета был взят 2010 год, когда уровень подростковых самоубийств в Англии и Уэльсе оказался рекордно низким. Сравнение с любым годом после 2010-го показало бы подъем (а можно было взять любой предшествующий год и показать спад).

Подбор подходящих начальной и конечной точек – пример построения гипотез, когда результаты уже известны (для обозначения этого даже есть специальное слово HARKing – hypothesising after results are known). Это значит, что сначала вы собираете данные, а потом изучаете их в поисках чего-нибудь удивительного. В зашумленных наборах данных – например, об изменении климата или доле самоубийств – есть естественные вариации: что-то увеличивается или уменьшается без определенных причин, как волны. При желании можно подобрать необычно высокую или низкую начальную или конечную точку так, чтобы подтвердить тенденцию роста или спада. Для того чтобы обнаружить долгосрочную тенденцию (вроде прилива), недостаточно рассмотреть самое большое или самое маленькое значение.

Есть и другие способы подобных манипуляций. Можно выбрать для изучения только часть своих данных или задать определенные критерии отбора. Например, в статье о самоубийствах говорилось о подростках – причем именно 15–19-летних. Ни в одной другой возрастной группе подъема не было обнаружено; а поскольку – к счастью – подростки очень редко совершают суицид, небольшие случайные изменения данных могут приводить к сильным перепадам в процентном отношении. Если бы рассматривался более широкий возрастной диапазон – от 10 до 29 лет, – такого скачка не было бы.

Похожая ситуация и с климатом. Температура воздуха на поверхности Земли долгое время не достигала уровней 1998 года, но в верхних трех метрах океанской воды заключено столько же тепловой энергии, сколько во всей атмосфере.

И проблема выходит за рамки климатологии или сводок о самоубийствах. HARKing, как и погоня за новизной, – это серьезная проблема в науке. В Центре доказательной медицины при Оксфордском университете обнаружили, что даже в статьях, опубликованных в самых уважаемых медицинских журналах, нередко уже после того, как испытание зарегистрировано, без упоминания в отчете меняется цель исследования. Это позволяет авторам изменять начальную и конечную точки и даже полностью переписывать критерии успеха. Сменить цель можно по вполне уважительной причине, но можно и ради p-подгонки – ее мы обсуждали в главе 5 (и это все равно нужно указывать в статье).

Справиться с этим затруднением часто бывает непросто. Вы ведь должны указать начало вашего набора данных, и обычно оно выбирается наугад. Если числа колеблются в большом диапазоне, то все может сильно измениться от того, выбрали вы в качестве точки отсчета маленькое значение или большое. Если вы член правительства и хотите показать, что благодаря вашим действиям стало меньше нищих детей, то можете выбрать такой год, когда бедность была особенно высокой, и сказать: «Смотрите, как она упала!»; а если вы находитесь в оппозиции, то можете выбрать год, когда бедность была на особенно низком уровне, и возразить: «Смотрите, как она выросла!»

Иногда полезно рассмотреть более общую картину или проверить, идет речь о реальной тенденции или это просто случайный зигзаг. Если же вы специально перебираете данные, чтобы найти эффектные начало и конец для своего фрагмента, то почти наверняка занимаетесь фальсификацией.

Между прочим, газеты в основном перестали писать о том, что глобальное потепление прекратилось в 1998-м, потому что 2014, 2015 и 2016 годы оказались жарче него – притом каждый был жарче предыдущего; жуткая рекордно жаркая троица. Можно сколько угодно выбирать пиковые значения и на их основе рассказывать сомнительные истории, но рано или поздно прилив все равно наступит.

Глава 17

Прогнозирование

Каждые несколько месяцев британское Управление бюджетной ответственности (OBR) делает прогнозы экономического развития страны, и их – вполне естественно – публикует пресса. Например, в марте 2019-го The Guardian написала (в полном соответствии с истиной), что OBR предсказывает годовой прирост экономики в размере 1,2 %. Довольно пессимистичная оценка, но, как утверждалось в статье, дальше должно быть получше.

Конечно, дальше лучше не стало: почти через год в Великобритании объявили локдаун, чтобы одолеть COVID-19, и экономика меньше чем за два месяца сократилась на 25 %. Было бы, наверное, несправедливо ожидать, что OBR или The Guardian предвидят пандемию. Но все подобные прогнозы – 1,2 %-ный рост в этом финансовом году, снижение безработицы на 2 % в этом квартале, повышение температуры на этой планете на 2,6 °C к 2100-му – вызывают вопрос: как они составляются? Можно ли им верить?

Давайте на время забудем об экономике и подумаем о погоде в северном Лондоне. В тот день, когда мы это пишем, погодное приложение BBC для района Харинги показывает значок тучи, из которой польется дождь в 14:00. Увидев это, вы можете подумать, что в 14:00 пойдет дождь.

Однако это несколько опрометчиво. Под значком написано 23 %. Приложение полагает, что в 14:00 дождь необязателен, – оно считает, что вероятность осадков в это время менее одной четвертой, хотя и разместило иконку тучи. (Если вас интересует погода в случайный день за несколько месяцев до того, как вы это прочтете, в месте, где вы, возможно, не живете, то знайте: относительно дождя в более позднее время уверенности у него было уже побольше. К 19:00 вероятность повысилась до 51 %. Но в 14:00 небо было безмятежно-голубым.)

Прогноз погоды – это не мистическое окно в будущее, не предсказания