Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

мудрого провидца; это вероятностная догадка, призванная помочь принимать решения. О прогнозах погоды часто говорят, когда они не сбываются: вам показывают солнышко и вероятность дождя 5 %; вы приглашаете друзей на барбекю; но стоит разжечь уголь, как вдруг набегают облака и на вас обрушивается небесный водопад, – все промокли до костей, а в руках остались недожаренные бургеры.

Но ведь в прогнозе было 5 % – не 0 %. Из каждых 20 раз, что приложение укажет дождь с вероятностью 5 %, один раз можно ожидать дождь. Шансы на то, что в техасском холдеме получится комбинация из трех карт одного достоинства, составляют около 5 %; если вы когда-либо играли в покер, вам, возможно, несколько раз выпадал такой триплет. Если бы мы сели за карточный стол сейчас, весьма маловероятно, что вы получили бы его, но если вы играете регулярно, то такая комбинация вас не удивит. (А если вы играете в D&D, то знаете, насколько редко выпадает единица на 20-гранной кости.)[31][32]

Скорее всего, вы не запомните те 19 раз, когда по прогнозу дождь мог пойти с вероятностью 5 % и не пошел. Но запомните тот единственный, когда он пошел.

Поэтому трудно говорить о правильности прогнозов. Когда приложение сообщает, что вероятность осадков 1 %, вы, естественно, огорчитесь, если запланируете вылазку на природу, а дождь все-таки пойдет. Но метеорологи возразят: «Мы же говорили, что шанс есть». Так как же понять, можно ли верить прогнозисту? Ведь вероятность дождя – в отличие от комбинаций в покере или бросков кости в «Подземельях и драконах» – нельзя задать математически.

Способ прост: изучите несколько его прогнозов и проверьте, сбывается ли прогноз с вероятностью в 1 % в 1 % случаев, прогноз с вероятностью в 10 % – в 10 % случаев и так далее. Если метеоролог предсказал 5 %-ную вероятность дождя 1000 раз и дождь пошел примерно в 50 случаях, тогда он хороший предсказатель. Если же дождь шел намного чаще или намного реже – его прогнозы недостоверны. Уровень его квалификации можно оценить в цифрах.

На самом деле прогнозы погоды оказываются весьма точными, по крайней мере по меркам большинства предсказаний будущего: например, британский метеоцентр определяет температуру следующего дня с точностью до 2 °C примерно в 95 % случаев, а на три дня вперед – в 89 % случаев, согласно их блогу в 2016 году.

Эту врезку читать необязательно, но, если если вы хотите поподробнее узнать, как оценивать качество прогнозирования, не пропускайте ее.

Качество прогнозирования можно определять с помощью так называемого показателя Брайера – он отражает точность предсказаний. Если ваша догадка, имеющая 70 %-ную вероятность, оказывается верной в 70 % случаев, вы «хорошо откалиброваны». Если же такой прогноз сбывается в 55 % случаев – вы слишком уверены, а если в 95 % – то недостаточно.

Но важно знать не только степень калибровки, но и то, насколько человек конкретен. Утверждение, что событие случится с 95 %-ной вероятностью или с 5 %-ной вероятностью, гораздо полезнее для принятия решения, чем утверждение о 55 %-ной вероятности. Если вы решаете, стоит ли делать ставку, поддерживать политическую программу или планировать барбекю, то для вас будет полезнее тот, чьи прогнозы хорошо откалиброваны и точны, чем тот, чьи прогнозы хорошо откалиброваны и расплывчаты.

Показатель Брайера выше ценит тех, кто точен и прав, чем тех, кто точен и неправ. Он рассчитывается с помощью квадратичной ошибки.

Предположим, вы сделали прогноз, что завтра с вероятностью 75 % будет дождь. Для получения оценки Брайера разделите 75 на 100, чтобы получить число от 0 до 1, – в данном случае 0,75. Потом смотрите, сбылся ли этот прогноз. Если да, пометьте его единицей, если нет – нулем.

Ошибка – это разница между результатом и названной вами вероятностью. Предположим, дождь пошел. Ваш прогноз был 0,75, вычитаем его из единицы, потом возводим в квадрат (это важно, так как уверенные и верные оценки улучшают оценку, а уверенные, но неверные ухудшают). При этом вы получает оценку от 0 до 1, где 0 – идеальный прогноз, а 1 – максимально неверный, то есть чем ниже оценка, тем лучше, как в гольфе. В данном случае оценка такая: (1–0,75)2 = 0,0625.

Если же вы ошиблись с прогнозом, то имеете дело с той частью своего прогноза, вероятность которого 0,25, так что ваша оценка выглядит так: (1–0,25)2 = 0,5625.

Все может немного усложниться: при составлении прогноза часто приходится выбирать между несколькими вариантами, а не двумя. В этом случае оценка вычисляется чуть более сложным способом, и ответ получается между 0 и 2. Ситуация еще усложняется в таких случаях, как прогноз температуры, где целый спектр возможных исходов, а не просто «пойдет дождь» или «не пойдет дождь». Но по сути система подсчета та же.

Показатель Брайера был разработан для прогнозов погоды, но применим к любым четким проверяемым предсказаниям будущего. Если вы скажете, что через год в Северной Корее с вероятностью 66 % уже будет новый лидер или что «Питтсбург Стилерз» с вероятностью 33 % выиграет Суперкубок-2023, то для этих прогнозов можно вычислить показатель Брайера точно так же, как и для прогноза погоды.

Иногда предсказывают не события с двумя возможными исходами – пойдет или не пойдет дождь, – а что-нибудь меняющееся, например число случаев заболеваний малярией в Ботсване в следующем году, или (как в примерах, которые мы рассматривали раньше) размеры ВВП, или завтрашнюю температуру в Крауч-Энде. Тогда в ответе требуется не просто «да» или «нет», а какое-то число: экономика вырастет на 3 % или будет 900 случаев заражения малярией.

Конечно, результат не будет равен точно 3 % или 900 случаев. Вам нужен интервал неопределенности – точно как с p-значениями; это интервал вокруг вашего центрального предсказания, в который реальное значение будет попадать заданный процент времени (обычно 95 %). Так вы можете сказать, что завтра температура в Крауч-Энде составит 18 °C с 95 %-ным интервалом неопределенности от 13 до 23 °C. Чем увереннее автор прогноза, тем уже интервал неопределенности; если же уверенности у него маловато, интервал будет очень большим.

Погода – вещь непростая; это типичный пример сложной хаотичной системы. Но в итоге все сводится к физике. Улучшив алгоритмы и повысив мощность компьютеров, вы лучше разберетесь в системе.

Погода – не единственное, что мы пытаемся предсказывать. Мы стремимся предсказывать и поведение людей, например экономический рост, который определяется поведением миллионов жителей какой-то страны или всего мира. И это еще сложнее, отчасти потому, что люди реагируют на предсказания. Если спрогнозировать на завтра дождь, маловероятно, что это повлияет на осадки. Но если предсказать рост биржевого рынка, это может подтолкнуть кого-то к покупке акций.

Экономистам часто говорят (у одного из нас это уже в печенках сидит), что люди слишком сложные создания, чтобы можно было предугадать их поведение, поэтому моделировать его невозможно. Но это неправда, иначе всякие догадки об их поведении были бы ничем не лучше случайных утверждений, а это явно не соответствует действительности. Например,