Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

В конце каждого выпуска McLaughlin Group наступает время рубрики «Прогнозы», в которой каждому участнику дается несколько секунд, чтобы выразить мнение по тому или иному актуальному вопросу. Иногда они имеют возможность выбрать тему самостоятельно и поделиться своим мнением о чем-то, весьма далеком от политики. В других же случаях Маклафлин устраивает им своего рода неожиданный экзамен, на котором участники должны дать так называемые вынужденные прогнозы и ответить на один конкретный вопрос.

На некоторые вопросы Маклафлина – например, назвать следующего претендента на место в Верховном суде из нескольких достойных кандидатов – сложно ответить. На другие намного проще. Например, в выходные перед президентскими выборами 2008 г. Маклафлин спросил у участников, кто одержит верх – Джон Маккейн или Барак Обама?{147}.

Казалось, что ответ на этот вопрос не заслуживает длительного размышления. Барак Обама опережал Джона Маккейна практически в каждом национальном опросе, проводимом после 15 сентября 2008 г., когда банкротство Lehman Brothers привело к одному из самых сильных спадов в экономике со времен Великой депрессии. Также Обама вел по результатам опросов почти в каждом колеблющемся штате: Огайо, Флориде, Пенсильвании и Нью-Гемпшире – и даже в тех нескольких штатах, где демократы обычно не выигрывают, таких как Колорадо и Виргиния. Статистические модели, наподобие той, что я разработал для FiveThirtyEight, показывали, что шансы Обамы на победу в выборах превышают 95 %. Букмекерские конторы были менее конкретны, однако все равно оценивали шансы Обамы как 7 против 1{148}.

Однако первый участник дискуссии, Пэт Бьюкенен, уклонился от ответа. «В этот уик-энд свое слово скажут неопределившиеся», – заметил он, вызвав смех остальных участников круглого стола. Другой гость, Кларенс Пейдж из газеты Chicago Tribune, сказал, что данные кандидатов слишком «близки друг к другу, чтобы делать ставки». Моника Кроули из Fox News была упрямее и заявила, что Маккейн выиграет с перевесом «в пол-очка». И лишь Элеанор Клифт из Newsweek констатировала очевидное мнение и предсказала победу Обамы и Байдена.

В следующий вторник Обама стал избранным президентом. Он получил 365 голосов выборщиков против 173, отданных за Джона Маккейна, – результат, практически совпавший с предсказанным на основании опросов и статистических моделей. Хотя это и не убедительная историческая победа, все равно это был не тот случай, когда трудно предсказать результаты выборов – Обама обогнал Джона Маккейна почти на десять миллионов голосов. И казалось бы, что всем, кто делал противоположные прогнозы, следует объясниться.

Однако через неделю, когда те же участники McLaughlin Group собрались снова{149}, ничего подобного не произошло. Они обсуждали статистические нюансы победы Обамы, его выбор Рама Эмануэля в качестве главы администрации и его отношения с президентом России Дмитрием Медведевым. Никто не упомянул о неудачных прогнозах, сделанных на национальном телевидении, невзирая на массу свидетельств обратного. Скорее, участники передачи попытались сделать вид, что исход был полностью непредсказуемым. Кроули сказала, что это был «необычный год» и что Маккейн провел ужасную предвыборную кампанию, забыв упомянуть, что сама хотела сделать ставку на этого кандидата неделей ранее.

Специалистов по прогнозированию редко стоит судить по одному-единственному прогнозу, но в данном случае можно сделать исключение. За неделю до выборов единственная правдоподобная гипотеза, позволявшая поверить в победу Маккейна на выборах, заключалась в массивном всплеске расовой враждебности по отношению к Обаме, почему-то не замеченной в ходе опросов{150}. Однако подобную гипотезу не высказал ни один из экспертов. Вместо этого они, казалось, существовали в альтернативной вселенной, в которой не проводятся опросы, отсутствует коллапс экономики, а президент Буш все еще более популярен, чем Маккейн, рейтинг которого стремительно падает.

Тем не менее я решил проверить, не был ли данный случай аномальным. Насколько вообще умеют предсказывать участники дискуссии McLaughlin Group – люди, получающие деньги за свои разговоры о политике?

Я оценил достоверность примерно 1000 прогнозов, сделанных в последней рубрике шоу как самим Маклафлином, так и участниками его передачи. Около четверти из них или были слишком расплывчатыми, что не позволяло их анализировать, или касались событий в отдаленном будущем. Все остальные я оценивал по пятибалльной шкале, варьировавшейся в диапазоне от абсолютно ошибочных до полностью точных.

С таким же успехом участники шоу могли бы подбрасывать монетку. 338 их прогнозов были неточными – либо полностью, либо в значительной степени. Точно такое же количество – 338 – оказалось верными полностью или в значительной степени{151} (табл. 2.1).

Таблица 2.1. Анализ прогнозов, высказанных в телевизионной программе McLaughlin Group{152}

Кроме этого, ни одного из участников дискуссии – даже Клифта с его точным прогнозом итогов выборов 2008 г. – нельзя было выделить как лучшего среди остальных. Я рассчитал для каждого участника показатель, отражавший долю их личных верных индивидуальных прогнозов. Наиболее часто принимающие участие в обсуждении – Клифт, Бьюкенен, покойный Тони Блэнкли и сам Маклафлин – получили почти одинаковую оценку от 49 до 52 %, что означало, что они могли с равным успехом дать как верный, так и неверный прогноз{153}. Иными словами, их политическое чутье оказалось на уровне любительского джазового квартета, состоящего из парикмахеров.

Разумеется, программа McLaughlin Group в большей или меньшей степени задумана как своеобразное фарсовое развлечение для политических наркоманов. Это – своего рода пережиток прежней эры, такой же как программа Crossfire на канале CNN, в которой либералы и консерваторы бесконечно ругались друг с другом. Нынешняя, камерная эра не особо отличается от прежней, за исключением лишь того, что либералы и консерваторы вещают на своих кабельных каналах, а в качестве демилитаризованной демаркационной зоны между ними находятся Food Network или Golf Channel[21]. Подобная расстановка сил повышает рейтинги, однако далеко не всегда обеспечивает более надежный анализ.

Но что можно сказать о тех, кому платят за правильность и тщательность исследований, а не просто за количество высказываемых мнений? Можно ли считать, что качество прогнозов политологов или аналитиков из вашингтонских мозговых центров выше?

Действительно ли политологи лучше «экспертов»?

Распад Советского Союза и некоторых других стран Восточного блока происходил невероятно высокими темпами и, учитывая все обстоятельства, довольно упорядоченным образом[22].

12 июня 1987 г. Рональд Рейган, стоявший перед Бранденбургскими воротами, призвал Михаила Горбачева разрушить Берлинскую стену. И тогда его слова казались не менее дерзкими, чем обязательство Джона Ф. Кеннеди отправить человека на Луну. Рейган оказался лучшим пророком: стена рухнула менее чем через два года.

16 ноября 1988 г. парламент республики Эстония, государства размером со штат Мэн, заявил о суверенитете Эстонии, то есть о ее независимости от всемогущего СССР. Менее чем через три года Горбачеву удалось отразить попытку переворота со стороны сторонников жесткой линии в Москве, а затем советский флаг был в последний раз спущен перед Кремлем; Эстония и другие советские республики вскоре стали независимыми государствами.

Если постфактум падение советской империи и кажется вполне предсказуемым, то предвидеть его не мог практически ни один ведущий политолог. Те немногие, кто говорил о возможности распада этого государства, подвергались насмешкам{154}. Но если политологи не могли предсказать падение Советского Союза – возможно, самого важного события в истории конца XX в., – то какой вообще от них прок?

Филип Тэтлок, преподаватель психологии и политологии, работавший в то время в Калифорнийском университете в Беркли{155}, задавал себе именно такие вопросы. В период распада СССР он организовал амбициозный и беспрецедентный проект. Начиная с 1987 г. Тэтлок принялся собирать прогнозы, сделанные обширной группой экспертов из научных кругов и правительства по широкому кругу вопросов внутренней политики, экономики и международных отношений{156}.

Тэтлок обнаружил, что политическим экспертам было довольно сложно предвидеть развал СССР, поскольку для понимания происходившего в стране нужно было связать воедино различные наборы аргументов. Сами эти идеи и аргументы не содержали ничего особенно противоречивого, однако они исходили от представителей разных политических направлений{157}, и ученые, бывшие сторонниками одного идеологического лагеря, вряд ли могли так легко пользоваться аргументацией оппонентов.