Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

В подобных условиях ценность моделей типа FiveThirtyEight становится очевидной. Нет никаких проблем с тем, чтобы посмотреть на цифры, увидеть, что некий кандидат ведет по данным некоторых или всех опросов, и понять, что он является фаворитом (за некоторыми исключениями это предположение будет правильным). Гораздо сложнее понять, в какой мере он выступает фаворитом. Наши мозги, приученные находить закономерности, всегда пытаются найти в данных сигнал, хотя, на самом деле, вместо этого нам следует оценивать степень шума.

Таблица 2.3. Вероятность победы кандидата на выборах в Сенат, основанная на среднем показателе опережения в ходе опросов

Я привык именно к такому стилю мышления, а предпосылкой для него является опыт, приобретенный, когда я имел дело с двумя дисциплинами – спортом и покером, в которых вы, так или иначе, сталкиваетесь со всеми вариантами развития событий. Сыграв достаточное количество партий в покер, вы получаете некоторое количество комбинаций ройял-флэш. Стоит вам сыграть еще, и вы окажетесь в ситуации, когда у вас на руках будет фулл-хаус, а ройял-флэш придет вашему сопернику. В спорте, особенно бейсболе, также возникают события с низкой вероятностью. Так, команда Boston Red Sox не смогла выйти в плей-офф в 2011 г., несмотря на то что в какой-то момент ее шансы на это составляли 99,7 %{173}, – хотя лично я не стал бы спорить с человеком, считающим, что в случае Red Sox или Chicago Cubs обычные законы вероятности просто не работают.

Такое отсутствие определенности часто расстраивает политиков и политических обозревателей. В 2010 г. один конгрессмен-демократ позвонил мне за несколько недель до выборов. Он представлял довольно благополучный для демократической партии район на западном побережье.

Тем не менее, принимая во внимание, насколько хорошо шли в том году дела у республиканцев, он беспокоился, что может потерять свое место. Он хотел знать, насколько велика доля неопределенности в нашем прогнозе. При округлении наши цифры говорили ему о том, что вероятность его победы составляет 100 %… Однако что значили эти 100 % на самом деле – 99 % или 99,99 %, или же 99,9999 %? В первом случае, когда шансы проигрыша оценивались как 1 к 100 000, он был готов пожертвовать собранными на его кампанию средствами и передать их другим кандидатам, баллотировавшимся в более уязвимых районах. Однако он не был готов так поступить, если шансы на его проигрыш составляли 1 к 100.

Представители политических партий могут неправильно интерпретировать роль неопределенности в прогнозе; они относятся к ней как к своего рода страховке или возможному оправданию в случае, если предсказание оказывается неверным. Но дело заключается совсем в другом. Если вы прогнозируете, что некий конгрессмен будет выигрывать в 90 % случаев, то это также означает, что ему будет суждено проиграть в 10 % случаев{174}. Отличительный признак хорошего прогноза заключается в том, что каждая из этих вероятностей может реализоваться в долгосрочной перспективе.

«Ежи» Тэтлока очень плохо понимают суть этих вероятностей. Когда вы говорите, что вероятность того, что какое-то событие произойдет, составляет 90 %, то за этими словами имеется вполне конкретный и объективный смысл. Однако наши мозги превращают его в нечто более субъективное. Выводы психологов Даниэла Канемана и Амоса Тверски показывают, что такие субъективные оценки не всегда соответствуют реальности. У людей могут возникнуть проблемы при оценке различия между вероятностью благополучного приземления самолета, составляющей 90 %, и вероятностью в 99 % или даже в 99,9999 %. Хотя совершенно очевидно, что от этого напрямую зависит, стоит ли нам бронировать билет на самолет.

При наличии должной практики наша оценка может стать лучше. «Ежей» Тэтлока отличала высокая степень упрямства и неготовность учиться на своих ошибках. Признание присущей реальному миру неопределенности в прогнозах вынудило бы их признать неправильность своих теорий, касающихся должного поведения мира, а это – последнее, чего хотелось бы приверженцу той или иной идеологии.

Принцип 2. Сегодняшний ваш прогноз – это первый прогноз из тех, что еще будут в вашей жизни

Еще одно заблуждение состоит в том, что хороший прогноз не следует изменять. Разумеется, если ваш прогноз резко изменяется день ото дня, это не говорит ни о чем хорошем. Либо у вас плохая модель, либо вы пытаетесь предсказать непредсказуемые события. В 2012 г., когда я опубликовал прогнозы республиканских праймериз в каждом из штатов на основании одних лишь данных опросов, вероятности победы различных кандидатов существенно менялись каждый раз после появления результатов очередного опроса.

Когда исход более предсказуем – как, например, в случае общих выборов на последних этапах гонки, – прогнозы обычно выглядят более стабильными. После выборов 2008 г. я часто слышал, что многие люди, вовлеченные в этот процесс, обращались к сайту FiveThirtyEight, чтобы просто успокоиться[26]. К окончанию президентской гонки каждый день из различных штатов поступают данные 30–40 опросов, и результаты некоторых из них неминуемо выпадут за пределы обычной ошибки. Кандидаты, стратеги и телевизионные комментаторы, заинтересованные в том, чтобы сделать гонку более интригующей, чем она есть, будут обращать внимание на подобные необычные цифры, однако расчеты с использованием модели FiveThirtyEight показали, что они редко на чем-либо сказываются.

Самое правильное из того, что вы можете сделать, это создать лучший из возможных на сегодняшний день прогнозов – вне зависимости от того, что вы говорили на прошлой неделе, в прошлом месяце или прошлом году. Появление новых прогнозов не означает, что старый прогноз просто исчезает (в идеале, вы должны сохранить его и позволить другим людям оценить, насколько хорошо вы проделали свою работу в течение всего периода предсказания события). Но если у вас есть основания считать, что вчерашний прогноз был неверным, то держаться за него нет никакого смысла. «Когда меняются факты, меняется и мое мнение, – говорил знаменитый экономист Джон Мейнард Кейнс. – А у вас разве не так, сэр?»

Некоторым людям не нравится подобный тип корректирования курса, и они ошибочно принимают его за признак слабости. Им кажется, что в таких действиях присутствует некий элемент мошенничества, как будто вы вместо научного анализа пытаетесь определить направление ветра с помощью поднятого вверх пальца{175}.

Критики обычно полагают, явно или косвенно, что политика в чем-то сходна с физикой или биологией, в которых соблюдаются фундаментальные законы, познаваемые по своей природе. (Кстати, один из наиболее часто критикующих меня людей – профессор нейробиологии из Принстона{176}.) Если же придерживаться подобных взглядов, то новая информация не имеет особенного значения; выборы должны двигаться по предсказуемой орбите, как комета, направляющаяся в сторону Земли.

Однако, в отличие от физики или биологии, прогнозирование на выборах напоминает, скорее, покер: мы можем наблюдать за поведением оппонента и улавливать те или иные подсказки, но мы не видим его карт. Пытаясь выкачать как можно больше из имеющейся ограниченной информации, мы должны быть готовы изменить свой прогноз по мере получения более новых и более качественных сведений. Неспособность изменить свой прогноз вследствие излишнего стыда говорит лишь об отсутствии у нас должной смелости.

Принцип 3. Ищите консенсус

Каждый «еж» представляет себе, как он создает смелый, дерзкий и нестандартный прогноз, радикально отличающийся от точки зрения, основанной на консенсусе.

Коллеги над ним смеются, и даже их золотые ретриверы начинают смотреть на него недоуменно. Однако затем предсказание вдруг оказывается глубоким, точным и несомненно правильным. Через два дня рассказ о нем появляется на первой полосе Wall Street Journal, а он сам – смелый и решительный первопроходец – сидит в гостевом кресле на шоу Джея Лино.

Время от времени делать такие прогнозы вполне нормально и правильно. Консенсус между экспертами может быть ошибкой – человек, который осмеливался бы предсказать коллапс Советского Союза, заслуживал бы огромной благодарности. Однако выступить с таким фантастическим сценарием довольно сложно. Хотя «лисы», и в том числе я сам, считают себя нонконформистами, мы все равно начинаем нервничать всякий раз, когда наши прогнозы радикально отличаются от творений конкурентов.

Существует довольно много свидетельств тому, что совокупные, или групповые, прогнозы являются более точными, чем индивидуальные (для разных дисциплин значения показателя могут находиться между 15 и 20 %). И это не всегда означает, что групповые прогнозы хороши (чуть позже в книге мы детально рассмотрим этот вопрос). Но это значит, что вы можете извлечь определенную пользу от изучения проблемы с разных точек зрения.