Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Но, хотя я и не могу поделиться с вами каким-либо основным и единственным доводом, на основании которого Вулгарис делает или не делает ставку, его решения направляются определенным типом мыслительного процесса, называемого рассуждениями Байеса.

Невероятное наследие Томаса Байеса

Томас Байес был английским священником, родившимся то ли в 1701, то ли в 1702 г. О жизни его известно довольно мало, хотя он подарил свое имя целому направлению в статистике и, возможно, самой знаменитой ее теореме. Неясно даже, как выглядел Байес на самом деле, его портрет, который часто приводят в энциклопедиях, может принадлежать другому лицу{556}.

Нам известно, что Байес, скорее всего, родился в зажиточной семье, проживавшей в юго-восточном английском графстве Хартфордшир. Он был вынужден отправиться в далекое путешествие и поступил в Эдинбургский университет, поскольку принадлежал к церкви нонконформистов, а не англиканской и ему был закрыт доступ в учебные заведения типа Оксфорда и Кембриджа{557}.

Тем не менее Байес был все равно избран членом Королевского научного общества, несмотря на незначительное количество публикаций. Там он обычно выполнял роль своего рода внутреннего критика или был посредником в ходе интеллектуальных дебатов. Одной из работ, которые ученые приписывают Байесу (несмотря на ее публикацию под псевдонимом Джон Нун{558}), является трактат под названием «Божественная доброта»{559}. В этом трактате Байес рассматривал извечный теологический вопрос о том, как могут существовать в мире страдания и зло, несмотря на безграничную доброту Господа. В сущности, ответ Байеса на этот вопрос состоит в том, что мы ошибочно принимаем наше собственное несовершенство за несовершенство Бога, чей замысел в отношении нашей Вселенной мы не можем понять в полной мере. В письме другому теологу Байес писал «довольно странно… для человека, видящего лишь нижнюю часть шкалы, говорить о всеобъемлющем поражении счастья в мире»{560}.

Более знаменитая работа Байеса «Очерки к решению проблемы доктрины шансов»{561} была опубликована только после его смерти и после того, как была представлена вниманию Королевского общества в 1763 г. другом Байеса по имени Ричард Прайс. В работе рассматривался вопрос о том, как мы формулируем вероятностные представления о мире, сталкиваясь с новыми данными.

В описании эссе Байеса Прайс приводит пример человека, попадающего в наш мир (например, Адама или человека из платоновской пещеры) и впервые наблюдающего восход солнца. Поначалу он не знает, обычное ли это событие или из ряда вон выходящее. Однако он видит восход солнца каждый последующий день и начинает все сильнее верить, что это – постоянное свойство природы. Постепенно, основываясь лишь на этой, в чистом виде статистической форме взаимодействия с природой, он присваивает своему прогнозу о том, что солнце вновь встанет на следующий день, вероятность, максимально близкую (хотя и никогда не достигающую) к 100 %.

Суть идеи Байеса и Прайса состоит не в том, что мир всегда оценивается в вероятностях или степенях неопределенности. Байес верил в небесное совершенство; он также выступал сторонником взглядов Исаака Ньютона, согласно которым природа следует регулярным и предсказуемым законам. Скорее, Байес говорил – с математической и философской точек зрения – о том, как нам следует изучать Вселенную. Мы учимся новым представлениям о ней с помощью аппроксимаций, оказываясь ближе и ближе к истине по мере того, как мы собираем все больше свидетельств.

Это заключение прямо противоположно более скептичной точке зрения шотландского философа Дэвида Юма{562}, который считал, что, поскольку мы не можем быть уверены в том, что солнце взойдет, наш прогноз относительно этого события не может считаться более рациональным, чем обратное заключение{563}. Напротив, байесовская точка зрения рассматривает рациональность как вероятностное событие. По сути, Байес и Прайс говорят Юму: не обвиняйте природу, поскольку вы слишком глупы, чтобы ее понять, и если вы вылезете из своей скептической раковины и сделаете прогнозы ее поведения, то, возможно, сможете приблизиться к истине.

Вероятность и прогресс

Стоит отметить, насколько это утверждение напоминает слова Байеса, приведенные в трактате «Божественная доброта» («Divine Benevolence»), где утверждалось, что нам не стоит относить собственное несовершенство на ошибки Бога. Однако в философии Байеса, по сути, нет ничего религиозного{564}.

Нужно отметить, что самое точное математическое выражение того, что в наши дни считается теоремой Байеса, было разработано человеком, который с высокой долей вероятности был атеистом{565}, – французским математиком и астрономом Пьером-Симоном Лапласом.

Лаплас, как вы, возможно, помните из главы 4, был ярким представителем человека, стоящего на позициях научного детерминизма. Он считал, что мы могли бы идеально спрогнозировать нашу Вселенную, если бы знали положение каждой частицы в ней и могли бы достаточно быстро рассчитать ее движение. Так почему же Лаплас так увлекся теорией, основанной на вероятности?

Причина заключается в разрыве между совершенством природы и нашим человеческим несовершенством в измерении и понимании ее. Лапласа изрядно расстраивали астрономические наблюдения, свидетельствовавшие об аномалиях в орбитах Юпитера и Сатурн – по их предсказаниям, Юпитер должен был врезаться в Солнце, а Сатурн – вылететь за края Солнечной системы{566}.

Разумеется, эти предсказания были в корне неверными, Лаплас посвятил значительную часть своей жизни тому, чтобы более точно определить орбиты этих планет{567}. Уточнения, которые внес Лаплас, были основаны на вероятностных заключениях{568}, а не на результатах более точных измерений, поскольку инструменты того времени (например, телескопы) были достаточно грубыми. Лаплас начал рассматривать вероятность как срединную точку между невежеством и знанием. Ему казалось очевидным, что для достижения научного прогресса важно уделять вопросам вероятности значительно больше внимания{569}.

Таким образом, Байес и Лаплас уже в XVIII в. отлично понимали, что существует некая тонкая связь между вероятностью, предсказанием и научным прогрессом. И это было еще в тот период, когда человечество только начало сталкиваться с взрывообразным ростом объемов информации, ставшим возможным благодаря изобретению печатного пресса несколькими столетиями ранее и способствовавшим развитию устойчивого научного, технического и экономического прогресса. Эта связь крайне важна – как для предсказания орбит планет, так и для угадывания победителя в матче с участием Lakers. Как мы увидим ниже, наука зашла в тупик позже, когда в XX в. начала доминировать иная статистическая парадигма, лишившая предсказание былой значимости и пытавшаяся рассматривать неопределенность как результат несовершенства наших измерений, а не как ошибку наших суждений.

Простая математика теоремы Байеса

Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. В своей базовой форме это всего лишь алгебраическое выражение с тремя известными переменными и одной неизвестной. Однако эта простая формула способна привести к инсайтам в предсказаниях.

Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие. Представьте себе, что вы живете с партнером и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Возможно, вы зададитесь вопросом: какова вероятность того, что ваш партнер вас обманывает? Условие состоит в том, вы найдете белье; гипотеза состоит в том, что вы заинтересованы оценить вероятность того, что вас обманывают. Хотите – верьте, хотите – нет, но теорема Байеса способна дать вам ответ на вопрос такого рода – при условии того, что вы знаете (или хотите оценить) три качества.

• Прежде всего вы должны оценить вероятность появления белья как условие правильности гипотезы – то есть при условии того, что вам изменяют.

Для решения этой проблемы давайте предположим, что вы женщина, а ваш партнер – мужчина, а предметом спора выступает пара трусиков. Если он вам изменяет, то несложно представить себе, как в ваш гардероб могли попасть чужие трусики. Но, даже если (или даже особенно в том случае если) он вам изменяет, вы можете ожидать, что он ведет себя достаточно осторожно. Давайте скажем, что вероятность появления трусиков при условии того, что он вас обманывает, составляет 50 %.