Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Разумеется, если бы вы были «ежом», не умеющим тщательно взвешивать информацию, она бы вся показалась вам лишь источником дополнительных проблем. Однако компания Cook Political имеет немалый опыт в создании прогнозов, а ее прогнозы довольно часто оказываются правильными.

Cook Political оценивает предвыборные кампании по семибалльной шкале, начиная от «Солидного преимущества республиканцев» (это означает, что данную кампанию почти гарантированно выиграет республиканский кандидат) до «Солидного преимущества демократов» (с обратным исходом). За период между 1998 и 2010 гг. кампании, отнесенные Cook к группе «Солидное преимущество республиканцев», действительно были выиграны республиканскими кандидатами 1205 раз из 1207 – то есть более чем в 99 % случаев. Аналогично, кампании, которые они отнесли к группе «Солидное преимущество демократов», были выиграны демократами в 1226 из 1229 случаев.

Большинство кампаний, которые Cook относит к группам «Солидного преимущества», происходят в районах, где одна и та же партия каждый год выигрывает со значительным перевесом, – их исход несложно предсказать. Однако Cook Political удается добиваться отличных результатов даже тогда, когда в ходе кампаний прогнозирование результатов требует значительно более серьезных навыков. Например, кампании, которые можно было назвать «склоняющимися» в сторону республиканских кандидатов, были выиграны республиканцами примерно в 95 % случаев. Аналогичным образом, «склоняющаяся» в сторону демократов кампания приводила к выигрышу демократов в 92 % случаев{183}. Более того, Cook удается спрогнозировать правильный результат даже тогда, когда он расходится с такими количественными индикаторами, как опросы{184}.

Я посетил офис Cook Political в Вашингтоне в сентябре 2010 г., примерно за пять недель до ноябрьских выборов, и провел несколько часов в обществе Дэвида Вассермана, кудрявого мужчины в возрасте за 30, отвечающего в компании за прогнозы, касающиеся выборов в Конгресс.

Самое уникальное свойство принятого у Cook процесса связано с интервью кандидатов. Во время предвыборных кампаний дверь на пятый этаж комплекса «Уотергейт», где располагаются офисы Cook, буквально не закрывается. Кандидаты приезжают туда на часовые беседы в промежутках между мероприятиями по сбору денег и стратегическими совещаниями. В день моего визита у Вассермана было назначено три таких интервью. Он предложил мне принять участие в одном из них – с республиканским кандидатом по имени Дэн Капанке.

Капанке надеялся обойти своего основного конкурента – демократа Рона Кайнда – в третьем избирательном районе штата Висконсин, представляя несколько небольших поселений в юго-западной части штата. Cook Political оценивал состояние в этом районе как «Возможную победу демократов». Это означало, что они дают Капанке лишь небольшие шансы на победу и размышляют о переводе района в более сильную категорию – «Предпочтение демократам». Капанке, сенатор штата, управлял небольшой компанией, производившей вспомогательное оборудование для сельского хозяйства. По виду и манерам он напоминал школьного учителя физкультуры. У него был сильный местный акцент: когда он произносил название местной бейсбольной команды La Crosse Loggers, я никак не мог разобрать, говорит ли он о «logger» (дровосеках) или «lager» (пиве). Стоит отметить, что для бейсбольного клуба из Висконсина в принципе подходили оба названия. В то же самое время прямота помогала ему компенсировать недостаток очарования – и он раз за разом получал свое место в сенате штата в районе, который обычно голосовал за демократов{185}.

Вассерман использует в интервью подход профессионального игрока в покер. Он держит каменное лицо и ведет себя безупречно с профессиональной точки зрения, однако подспудно пытается вызывать у кандидата напряжение, позволяющее больше о нем узнать.

«Моя базовая техника, – говорил он, – состоит в том, чтобы сформировать комфортные и дружеские отношения с кандидатом в самом начале интервью, в основном заставляя их рассказывать о том, откуда они родом. Затем я пытаюсь задать более нацеленный вопрос. Назовите тот вопрос, по которому вы не согласны с лидерами своей партии. Цель состоит не в том, чтобы дать им раскрыться, а в том, чтобы лучше почувствовать их стиль и подход».

Интервью с Капанке следовало тому же шаблону. Тот факт, что Вассерман знает кучу нюансов и деталей политической географии, заставляет его казаться местным уроженцем, и Капанке был счастлив поговорить об особенностях своего района – о том, как много голосов избирателей ему нужно выиграть в Ла-Кросс, чтобы компенсировать потерю в О-Клер. Однако он начал запинаться после серии вопросов, связанных с обвинением в том, что он использовал переданные ему лоббистами средства на покупку нового освещения для стадиона «Loggers»{186}.

Это была мелочь; Капанке не обвиняли ни в измене жене, ни в махинациях с налогами. Однако этого было достаточно для того, чтобы убедить Вассермана изменить рейтинг{187}. Капанке действительно проиграл выборы в ноябре того года, отстав от лидера примерно на 9500 голосов, хотя республиканцы в целом выиграли выборы в большинстве подобных районов на Среднем Западе.

Это происходит не так уже часто; Вассерман обычно сохраняет тот же рейтинг после интервью. Несмотря на то что он пытается получить как можно больше новой информации из кандидатов, часто та оказывается не настолько важной, чтобы заставить его изменить мнение.

Подход Вассермана работает, поскольку он способен оценить полученные сведения, не поддаваясь очарованию сидящего перед ним кандидата. Многие менее способные аналитики могли бы чрезмерно открыться перед людьми, пытающимися их очаровать или обмануть, или какими-то еще путями потерялись бы в рассказах о кампании. Или же они могли влюбиться в собственное представление о том, как будет вести себя кандидат в ходе интервью, и полностью игнорировать всю другую информацию, связанную с кампанией.

Вместо этого Вассерман рассматривает все в более широком политическом контексте. Отличный кандидат от демократической партии, умело отвечающий на вопросы в ходе интервью, может не иметь никаких шансов в районе, где республиканец обычно побеждает с опережением на 20 пунктов.

Так для чего вообще тратить время на интервью с кандидатами? Чаще всего Вассерман ищет так называемые красные флаги. Например, конгрессмен-демократ Эрик Масса (который позднее был вынужден с позором уйти из Конгресса после обвинений в сексуальных домогательствах к сотруднику-мужчине) постоянно пытал Вассермана о том, сколько тому лет. Психолог Пол Меель называет такие случаи «примером сломанной ноги» – то есть ситуациями, в которых нечто становится настолько заметным, что будет глупо не принимать это во внимание{188}.

Способность улавливать подобные сигналы несколько раз в год помогает Вассерману улучшить прогнозы по тем или иным кампаниям. Он способен взвешивать информацию, получаемую в ходе интервью, без чрезмерного внимания к ней (что могло бы привести к ухудшению прогнозов). Не так важно, какая количественная или качественная информация к вам поступает, – гораздо важнее, каким образом вы ее используете.

Быть объективным непросто

В этой книге я очень тщательно подхожу к использованию понятий объективное и субъективное. Порой слово объективное ассоциируется с количественным, но это не всегда так. Напротив, оно означает способность не ограничиваться нашими личными предубеждениями и изучать истинное положение дел с той или иной проблемой{189}.

Абсолютная объективность всегда желательна, но недостижима в этом мире. Создавая прогноз, мы можем выбирать любой из множества различных методов. Некоторые из них, например опросы, основываются исключительно на количественных переменных, а другие подходы (например, подход Вассермана) могут принимать во внимание и качественные факторы. Однако все они приводят к принятию решений и выдвижению предположений специалистом по прогнозированию.

Везде, где имеется человеческое суждение, возможно и появление предубеждений. Чтобы стать более объективным, нам стоит признавать влияние, которое имеют наши предположения на прогнозы, и критически к ним относиться. И это может оказаться особенно сложным (особенно если учитывать наши собственные идеологические убеждения и сложности процесса создания связного повествования из данных) в областях с высоким уровнем шумов.

Поэтому вам придется принять на вооружение привычки некоторых ученых, которых можно увидеть в телевизионных передачах. Вам нужно научиться выражать – и оценивать количественным образом – неопределенность своих предсказаний. Вам понадобится корректировать свой прогноз по мере изменения фактов и обстоятельств. От вас потребуется признать необходимость видеть мир с разных точек зрения. Чем больше вы захотите это делать, тем легче вам будет оценивать огромные массивы информации без искажений и злоупотреблений.