Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Поначалу программа должна была оценивать результативность питчеров, а не подающих. Предсказать этот параметр невероятно сложно, поэтому после пары лет экспериментов с системой под названием WFG Baseball Prospectus оставил попытки и начал публиковать пустые поля для своих прогнозов по этой группе игроков. Я почуял возможность и показал PECOTA Хакебею. К моему удивлению, система понравилась и ему, и сотрудникам Baseball Prospectus; они предложили мне выкупить PECOTA в обмен на долю в Baseball Prospectus и при условии, что я создам аналогичную систему для бьющих (хитеров){211}. Я это сделал, и зимой 2003 г. в Baseball Prospectus был опубликован первый ряд прогнозов PECOTA.

По окончании сезона 2003 г. мы обнаружили, что PECOTA сработала немного лучше, чем другие коммерческие системы прогнозирования{212}. Фактически ежегодно с 2003 по 2008 г. наша система была не хуже конкурентов. Это демонстрировалось по итогам тестов – как наших, так и сторонних{213}. При этом нам удавалось показывать более четкие результаты, чем те, что использовались букмекерами в Вегасе{214}. Несколько успешных прогнозов помогли существенно укрепить репутацию системы. Например, в 2007 г. PECOTA предсказала, что Chicago White Sox – всего за два года до выигрыша титула в чемпионате – обеспечит себе по итогам сезона лишь 72 победы. Этот прогноз чикагских СМИ и руководство White Sox пытались опротестовать{215}. Однако он оказался правдивым – сезон для White Sox завершился именно так: 72 победы против 90 поражений.

Но уже к 2009 г. другие системы начали догонять, а то и опережать прогнозы PECOTA. Подобно тому как я заимствовал некоторые элементы системы у Джеймса и Хакебея, другие исследователи заимствовали ряд инноваций у PECOTA и добавляли к ним какие-то свои идеи. Некоторые из этих систем оказались очень хорошими. Если вы попытаетесь проранжировать лучшие прогнозы года по тому, насколько хорошо они предсказывали результаты игроков основной лиги, то разница между результатами лучших систем не будет превышать долей процента{216}.

Меня давно интересовала и еще одна цель, с которой можно использовать PECOTA, – прогнозирование результатов игроков низшей лиги, таких как Педройя. Это значительно сложнее. А поскольку в то время очень мало систем разрабатывалось с подобной целью, единственным реальным конкурентом были скауты.

В 2006 г. я впервые опубликовал список 100 лучших потенциальных игроков, по версии PECOTA, а также сравнил его со списком, созданным на основе работы скаутов и опубликованным в это же время в Baseball America. Игроки в списке PECOTA были проранжированы по величине возможного вклада в результат в течение следующих шести сезонов после вхождения в состав команд высшей лиги{217}.

Сезон 2011 г. стал шестым годом после публикации прогнозов, поэтому я мог провести корректное сравнение прогнозов и реальности. Хотя игроки в этом списке были сравнительно молодыми, данные давали довольно четкое представление о том, удалось ли им стать звездами, либо же они просидели основную часть сезонов на скамейке запасных или вообще покинули мир большого спорта.

По данным моего списка, Педройя оказался на четвертом месте в списке потенциальных звезд. Это был не единственный успешный прогноз PECOTA. Система дала высокую оценку Иену Кинслеру, который вообще отсутствовал в списке Baseball America; в реальности он вошел в состав двух команд «Всех звезд» и стал одним из ведущих нападавших команды Texas Rangers. PECOTA высоко оценила и Мэтта Кемпа, суперзвезду команды Dodgers, который в 2011 г. получил редкую награду – бейсбольную Тройную корону[49] (оценка, данная ему Baseball America, была значительно ниже моей).

Но доводилось ли вам слышать о Жоэле Гузмане? Дональде Мерфи? Йосемиро Пети? Возможно, нет, если только вы не подлинный фанатик бейсбола. PECOTA же посчитала этих игроков достаточно перспективными.

Свои упущения были и у Baseball America – скауты проявляли чрезмерный оптимизм в отношении Брэндона Вуда, Ластингса Милледжа и Марка Роджерса. Однако были и успешные прогнозы. Так, Baseball America отметила питчера Red Sox Йона Лестера, шорт-стопа[50] Rockies Троя Туловицки и аутфилдера[51] Baltimore Orioles Ника Маркакиса, все они имели довольно скромные статистические результаты в низшей лиге и вообще не были включены в список PECOTA.

Для статистического сравнения систем имеется достаточно большой объем данных. В частности, мы можем посмотреть на количество побед игроков в составе команд в каждом списке – например, на показательWARP[52]{218}. Этот показатель призван оценить, какой вклад вносит игрок любыми действиями: хитингом, питчингом и ловлей.

В течение 2011 г. игроки из списка PECOTA обеспечили 546 побед своим командам высшей лиги (рис. 3.3). Однако игроки из списка Baseball America показали еще более высокие результаты, обеспечив 630 побед. Хотя суждение скаутов иногда бывает искаженным, в данном случае оно оказалось полезным – их прогнозы оказались на 15 % лучше тех, что были сделаны на основе одной лишь статистики. Хотя такое различие может показаться не очень значительным, однако это не так. Бейсбольные команды готовы платить по 4 млн долл. за каждую удачную находку на рынке спортсменов-профессионалов, не связанных контрактом{219}. Таким образом, скауты обошли нас за этот период примерно на 336 млн долл.[53].

Рис. 3.3. Достижения кандидатов из списков 100 лучших потенциальных игроков, составленных в 2006 г. системой PECOTA и Baseball America, к 2011 г.

Предубеждения скаутов и статистиков

Конечно, было бы здорово, если бы список PECOTA оказался более точным, чем тот, что был составлен на основе мнений скаутов, но я не ожидал, что так может произойти. Через некоторое время после их публикации я написал{220}:

«Несмотря на то что мне было бы интересно взглянуть на противостояние скаутов и статистиков под новым углом, я не жду, что ранжирование, выполненное системой PECOTA, будет столь же точным, как рейтинги… создаваемые Baseball America».

Исходным «сырьем» для любой системы ранжирования служит информация – а если у вас была возможность изучить и скаутинговую, и статистическую информацию, значит, вы получили больше такого «сырья». Единственная возможность для чисто статистического подхода переиграть смешанный заключается в том, что вызываемые смешанным подходом предубеждения порой оказываются настолько сильными, что перевешивают преимущества.

Иными словами, скауты используют смешанный подход. Они имеют доступ к широкой информации, не ограничивающейся статистикой. И скауты, и PECOTA могут без проблем изучать личные достижения, или ERA[54] игрока; не имеющая предубеждений система типа PECOTA может немного лучше отсеивать какую-то часть шумов из этих данных и выдавать их в более правильном контексте. Однако скауты имеют доступ к огромным массивам информации, о которой PECOTA не имеет ни малейшего представления. Допустим, вместо того чтобы гадать о том, насколько велика сила броска питчера, они могут просто достать лазерный радар и замерить скорость мяча или же использовать секундомер, чтобы оценить, насколько быстро он перебегает с базы на базу.

Этот тип информации позволяет нам сделать еще один шаг в сторону глубинных причин того, что мы пытаемся предсказать. В низших лигах питчеры даже со слабой силой броска могут нащупать успешную зону; большинство противостоящих ему подающих довольно неумелы, поэтому он вполне может их переиграть. В высших лигах, где отбивающие способны парировать мяч, летящий со скоростью до 120 км/ч, шансы таких питчеров невелики. PECOTA может быть дезинформирована подобными данными, но это никогда не произойдет с умелым скаутом. И наоборот, скаут может выявлять игроков, обладающих талантом на уровне высшей лиги, для развития которых может потребоваться время.

Нужно, впрочем, отметить, что каждый раз, когда в процесс вовлекается человеческое суждение, возникает и потенциал для предубеждения. Как мы видели в главе 2, увеличение объема информации способно лишь ухудшить ситуацию для тех, кто неправильно относится к прогнозам и пытается навязать свою точку зрения на то, как устроен мир, вместо того чтобы попытаться познать истину.

Возможно, в эре, предшествовавшей «Moneyball», эти предубеждения играли на руку скаутам. Они могли уделять больше внимания эстетике игры, чем таланту игрока. Если свежие списки Baseball America можно считать очень хорошими, то списки начала 1990-х{221} были переполнены огромным количеством несбывшихся прогнозов – достаточно вспомнить таких превозносившихся игроков, как Тодд Ван Поппел, Рубен Ривера и Браен Тейлор, которым так и не удалось добиться серьезных результатов.