Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Боб Вулгарис, ставший миллионером благодаря ставкам на баскетбол, о котором я рассказал вам в главе 8, как-то решил делать ставки на бейсбол. Созданная им модель стабильно рекомендовала делать ставки на команду Philadelphia Phillies, однако они оказывались неудачными. Оказалось, что ошибка связана с единственным неверным символом на 10 тыс. строк программного кода – помощник Вулгариса ошибочно ввел аббревиатуру домашнего стадиона Phillies (Citizens Bank Park) как P-H-l, а не P-H-I. Этой единственной строки кода хватило для искажения сигнала в программе и для того, чтобы Вулгарис сделал ставки на шум. Вулгарис был настолько потрясен этим сбоем, что полностью перестал пользоваться программой для расчета ставок в бейсболе.

Проблема Кэмпбелла заключалась в том, что Deep Blue уже давно научился играть в шахматы лучше, чем его создатели. Он мог сделать ход, который его создатели никогда бы не сделали, – и более того, они не всегда могли понять, что это: сознательное действие или сбой?

«На ранних стадиях отладки Deep Blue, когда компьютер совершал необычный ход, я мог подумать: “Что-то тут не так”, – рассказал мне Кэмпбелл. – Мы начинали копаться и вычисляли, с чем была связана проблема. Однако со временем подобные вещи происходили все реже и реже. Когда компьютер делал необычные ходы, мы разбирались с ними и понимали, что ему удалось вычислить что-то, что было бы сложно увидеть людям».

Возможно, самые знаменитые ходы в шахматной истории были сделаны шахматным вундеркиндом Бобби Фишером в так называемой Игре столетия в 1956 г. (рис. 9.7). Фишер, которому в то время было всего 13 лет, в первой партии против гроссмейстера Дональда Бирна дважды пожертвовал серьезные фигуры: в какой-то момент он отдал коня без видимой выгоды, а через несколько ходов сознательно оставил без защиты своего ферзя, предпочитая вместо этого продвинуть вперед одного из слонов. Оба хода были совершенно правильными; Фишер увидел уязвимость позиции Бирна, которая стала очевидной уже через несколько ходов. Однако мало кто из гроссмейстеров тогда или сейчас решился бы повторить ходы Фишера. Эвристика типа «никогда не разменивай своего ферзя, кроме как на другого или только в случае немедленного мата» слишком сильна, потому что она помогает игроку в 99 % случаев.

Рис. 9.7. Самые знаменитые жертвы фигур Бобби Фишера, 1956 г.

Однако, когда я повторил эту позицию на своем довольно слабом компьютере и запустил матч в программе Fritz, она повторила ходы Фишера буквально через несколько секунд. В сущности, программа посчитала ошибочными любые ходы, кроме тех, которые сделал Фишер. В поиске всех возможных ходов программа смогла выявить ситуации, когда от эвристики надо отказываться.

В этом случае не приходится говорить о наличии у компьютера «творческих способностей», позволяющих найти верный ход; вместо этого на его стороне примитивный перебор вариантов и скорость расчетов.

Но у компьютера есть и еще одно преимущество: он не позволяет собственным представления о том, как правильно играть в шахматы, мешать поиску точного хода в конкретных и определенных обстоятельствах. Игроку-человеку для выхода за пределы привычного мышления требуется немало креативности и доверия к себе. Люди дивились мастерству молодого Фишера, но, возможно, именно благодаря молодости он находил необычные ходы: в его распоряжении было все его безграничное воображение. Слепые пятна нашего мышления обычно создаем мы сами, и они лишь увеличиваются по мере нашего взросления. Свои слепые пятна есть и у компьютеров, однако они могут избежать этих ошибок воображения благодаря тому, что рассматривают и оценивают все возможные ходы без исключения.

Тем не менее в программе Deep Blue имелись свои сбои, хотя их и было не так много. Ближе к концу интервью Кэмпбелл довольно лукавым тоном заговорил об инциденте, случившемся незадолго до окончания первой партии матча 1997 г. с Каспаровым.

«В программе возник сбой, который мог заставить Каспарова неправильно оценить способности Deep Blue, – рассказал Кэмпбелл. – Однако Каспаров даже не стал рассматривать вероятность того, что это был сбой». Сбой возник на 44‑м ходу первой игры против Каспарова; программа не смогла выбрать следующий ход и обратилась к последнему средству – совершенно случайному ходу. Сбой был довольно непоследовательным и возник в момент, когда позиция компьютера уже была проигрышной. Кэмпбелл и команда исправили его на следующий день. «Мы видели нечто подобное чуть раньше, в ходе тестовой игры, и думали, что уже с этим справились, – рассказал он. – К сожалению, кое-что мы тогда упустили». Однако этот сбой сыграл Deep Blue на руку – возможно, что именно он, в конечном итоге, позволил компьютеру обыграть Каспарова. В пересказах матча Каспарова против Deep Blue считается, что проблема возникла во второй партии – когда Каспаров допустил почти беспрецедентную ошибку и отказался от продолжения игры, исходом которой могла стать ничья. Однако что заставило Каспарова совершить ошибку? Беспокойство, вызванное 44‑м ходом Deep Blue в первой игре – ходом, когда компьютер передвинул ладью без какой-либо явной цели. Каспаров предположил, что странное поведение компьютера представляет собой знак высшего интеллекта. Он даже не мог подумать о том, что случившееся оказалось результатом простого сбоя.

Несмотря на то что мы активно полагаемся на технологии XXI в., у нас до сих пор остались слепые пятна Эдгара Аллана По, касающиеся роли, которую машины играют в нашей жизни. Компьютер заставил Каспарова ошибиться, но лишь из-за неправильного кода программы.

Что компьютеры умеют делать хорошо?

Компьютеры умеют очень быстро производить расчеты. Более того, мы можем рассчитывать, что они будут делать это безупречно – не уставая, не подчиняясь эмоциям и не меняя настроения во время игры.

Но это не значит, что компьютеры всегда создают идеальные прогнозы (или даже хорошие). Эта проблема отлично описывается аббревиатурой GIGO (garbage in, garbage out, или «мусор на входе – мусор на выходе»). Если «скормить» компьютеру плохие данные или создать неправильный набор инструкций для анализа, он не сможет превратить грязь в золото. Кроме того, компьютеры довольно плохо исполняют задачи, требующие креативности и воображения, такие как разработка стратегии развития или теории о том, как работает мир.

Таким образом, компьютеры более всего полезны прогнозистам в таких областях, как прогнозирование погоды и шахматы, где система следует сравнительно простым и понятным законам, но где уравнения, управляющие системой, должны решаться по множеству раз, чтобы создать хороший прогноз. Судя по всему, компьютеры мало чем могут помочь нам в таких областях, как экономика или прогнозирования землетрясений, где причины кажутся более расплывчатыми, а данные сильнее перемешаны с шумом. В каждой из этих областей и в 1970‑х, и в 1980‑х гг. на компьютеры, ставшие доступными ученым для решения повседневных задач, возлагались большие надежды, однако до сих пор серьезный прогресс так и не достигнут.

Но между этими двумя полюсами находится множество других областей применения. Зачастую данные можно считать хорошими, но не отличными, и у нас есть некое (далеко не идеальное) понимание систем и процессов, в результате действия которых они получены. В подобных случаях существует возможность улучшить предсказания благодаря процессу, который использовали программисты Deep Blue, – применению метода проб и ошибок. Именно этот метод лежит в основе бизнес-стратегии компании, которую мы чаще всего связываем в настоящее время с Большими данными.

Когда метод проб и ошибок действительно работает

Если вы приедете в офисный комплекс Googleplex, расположенный в городе Маунтин-Вью, штат Калифорния, где я побывал в конце 2009 г., то заметите, что не всегда понимаете, когда с вами говорят серьезно, а когда шутят. Здесь царит культура, стимулирующая креативность и выражающаяся, помимо прочего, в ярких цветах, наличие волейбольных площадок и невероятных разновидностей двухколесных средств передвижения. Сотрудники Google, даже программисты и экономисты, могут быть достаточно капризными и вести себя необычным образом.

«Такие эксперименты проходят у нас все время, – сказал мне на встрече Хэл Вариан, главный экономист Google. – Нашу компанию лучше всего представлять себе как организм, нечто живое. Я уже много раз говорил о том, что нам нужно обращать внимание на то, когда этот организм оживает и может напоминать Skynet[121]. Однако мы договорились с губернатором Калифорнии, – на тот момент Арнольдом Шварценеггером, – что он придет и нам поможет». Google проводит масштабное тестирование своих поисковых и других продуктов. «В прошлом году мы провели 6000 экспериментов в области поиска и еще примерно столько же в области монетизации рекламных объявлений, – сказал мой собеседник. – Так что можно сказать, что Google проводит не менее 10 тыс. экспериментов в год». Некоторые из этих экспериментов заметны всем нам – зачастую благодаря им появляется новая продуктовая линейка. Однако большинство из них мы не отслеживаем – в ходе экспериментов логотип перемещается на несколько пикселей в сторону, или чуть-чуть меняется цвет фона в рекламе, а затем исследователи Google отслеживают, какое влияние это оказывает на количество кликов или монетизацию. Многие эксперименты охватывают всего 0,5 % пользователей Google (чаще всего охват зависит от того, насколько многообещающей кажется идея).