Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Таблица 8.3б. Пример расчета вероятности террористической атаки по теореме Байеса

Я сознательно выбрал в качестве примеров довольно сложные случаи – террористические атаки, рак, супружеская измена, – поскольку хочу продемонстрировать масштаб проблем, к решению которых может быть применено байесовское мышление. Теорема Байеса – это не волшебная формула. В ее самой простой формуле, которую мы приводим в этой книге, используются простые арифметические действия по сложению, вычитанию, делению и умножению. Но для того, чтобы она дала нам полезный результат, мы должны снабдить ее информацией, в частности нашими расчетами априорных вероятностей.

Однако теорема Байеса заставляет нас думать о вероятности событий, происходящих в мире, даже когда речь заходит о вопросах, которые мы не хотели бы считать проявлением случайности. Она не требует, чтобы мы воспринимали мир как внутренне, метафизически неопределенный: Лаплас считал, что все, начиная от орбит планет и заканчивая движением мельчайших молекул, управляется упорядоченными ньютоновскими правилами. И тем не менее он сыграл важную роль в развитии теоремы Байеса. Скорее можно сказать, что эта теорема связана с эпистемологической неопределенностью – границами наших знаний.

Проблема ложноположительного срабатывания[108]

Когда мы не можем думать подобно истинным байесовцам, ложноположительное срабатывание начинает представлять собой проблему не только для маммографии, но и для всей науки. В введении я упомянул работу врача-исследователя Джона П. А. Иоаннидиса. В 2005 г. Иоаннидис опубликовал влиятельный труд под названием «Почему самые широко публикуемые выводы исследований неверны»{577}, в котором процитировал множество статистических и теоретических аргументов, подтверждавших, что (как и следует из названия) большинство гипотез, признанных истинными в медицине и большинстве других научных профессий, являются, по сути, ложными.

Гипотеза Иоаннидиса, как мы уже сказали, кажется одной из немногих истинных. Так, сотрудники компании Bayer Laboratories обнаружили, что не могут повторить в ходе собственных экспериментов до двух третей положительных заключений, опубликованных в медицинских журналах{578}. Еще один способ проверить правдивость выводов исследования состоит в том, чтобы понять, насколько точными являются результаты предсказаний в реальном мире, И, как мы видим на множестве примеров, приведенных в этой книге, часто выводы не выдерживают испытание реальностью. Судя по всему, частота появления неудачных предсказаний во множестве областей, от сейсмологии до политических наук, оказывается невероятно высокой.

«За последние 20 лет благодаря геометрическому росту доступной информации, развитию геномики и других технологий мы получили возможность измерять миллионы и миллионы потенциально интересных переменных, – рассказал мне Иоаннидис. – Можно ожидать, что мы сможем использовать эту информацию для того, чтобы заставить предсказания работать на нас. Я не говорю, что мы не достигли никакого прогресса. Принимая во внимание наличие миллионов научных работ, признать это было бы крайне стыдно. Однако совершенно очевидно, что мы не сделали миллионов открытий. Большинство работ не вносят реального вклада в развитие знания».

Вот почему наши предсказания могут оказаться более подверженными неудаче в эру Больших данных. С экспоненциальным ростом объема доступной информации по той же экспоненте растет и количество гипотез, требующих изучения. Например, правительство США в настоящее время публикует сведения о 45 тыс. экономических статистических показателей. Если вы захотите протестировать связи между всеми комбинациями из пар этих показателей – есть ли, допустим, причинно-следственная связь между ставкой банковского кредитования и уровнем безработицы в Алабаме? – то вам потребуется протестировать не меньше миллиарда гипотез[109]. Однако количество осмысленных связей в данных, говорящих о наличии причинно-следственной связи, а не о корреляции, и позволяющих протестировать то, каким образом мир работает по-настоящему, на много порядков ниже. Истина не растет теми же темпами, что и информация; по сути, в мире сейчас не больше истины, чем было до появления интернета или печатного пресса. Основная часть данных – всего лишь шум, так же как основная часть Вселенной заполнена вакуумом.

Тем не менее, как мы знаем из теоремы Байеса, в случаях, когда реальная вероятность возникновения какой-либо болезни в популяции низка (рак груди у молодых женщин; истина в море данных), ложноположительное срабатывание может доминировать в результатах, если только мы не будем достаточно внимательны и осторожны. На рис. 8.3 представлено графическое отображение этой картины. Так, 80 % истинных научных гипотез вполне справедливо признаются истинными, а около 90 % неверных гипотез совершенно справедливо отвергаются. Тем не менее, поскольку истинные открытия возникают крайне редко, оказывается, что около двух третей выводов, которые мы считаем правильными, на самом деле оказываются ложными!

Рис. 8.3. Графическое отображение ложноположительного срабатывания

К сожалению, как выяснил Иоаннидис, состояние опубликованных исследований в большинстве областей, по которым проводилось статистическое тестирование, напоминает ту картину, что можно увидеть на рис. 8.3[110].

Почему же доля ошибок так велика? До определенной степени вся данная книга представляет собой ответ на этот вопрос. Причин можно назвать много: отчасти они связаны с нашими психологическими предубеждениями, отчасти – с распространенными методологическими ошибками, а отчасти – с неправильно выстроенными стимулами.

Однако основная проблема лежит в том, что тип статистического мышления, который используют различные исследователи, является ошибочным по своей сути.

Когда статистика отклонилась от принципов Байеса

Английский статистик и биолог по имени Рональд Эймлер (Р. A.) Фишер был, возможно, основным интеллектуальным соперником Томаса Байеса, несмотря на то что он родился в 1890 г., почти через 120 лет после его смерти. Он проявил себя еще более яркой личностью, чем Байес, и таким же олицетворением английской интеллектуальной традиции своего времени, каким в наши дни стал Кристофер Хитченс. Он был миловидным, но неопрятно одетым человеком{579}, постоянно курил трубку или сигареты и вел непрекращающийся бой с реальными и вымышленными соперниками.

Посредственный лектор, но в то же время проницательный писатель, обладавший чутьем к драматическим сюжетам, он оставался отличным и востребованным собеседником за обедом. Интересы Фишера были невероятно широкими. Один из лучших биологов и генетиков своего времени, но при этом беззастенчивый сторонник элитизма, он искренне оплакивал тот факт, что у представителей бедных классов имелось значительно больше потомства, чем у интеллектуалов{580} (сам Фишер, следуя собственным убеждениям, с осознанием собственного долга дал жизнь восьмерым отпрыскам).

Возможно, Фишер в большей степени, чем кто-либо еще, отвечает за то, какими статистическими методами мы широко пользуемся в настоящее время. Он разработал терминологию проверки статистической значимости и значительную часть соответствующей методологии. Он не относился к числу больших поклонников Байеса и Лапласа, но именно он впервые использовал термин «байесовский» (Bayesian) в опубликованной статье, причем довольно уничижительным образом{581}, а в другой статье утверждал, что теория Байеса «должна быть полностью отвергнута»{582}.

Фишер и его современники не видели проблемы в формуле, называемой теоремой Байеса, как таковой, поскольку это обычное математическое выражение. Скорее, они беспокоились о том, как следует ее применять. В частности, у них вызывало вопросы понятие байесовского априорного значения{583}. Оно казалось им слишком субъективным: мы должны заранее предусмотреть, насколько вероятным мы считаем какое-то событие, прежде чем пуститься в эксперименты? Не противоречит ли это понятиям объективной науки?

Поэтому Фишер и его современники решили разработать набор статистических методов, которые, как они надеялись, освободят нас от любого возможного негативного влияния предубеждений и искажений. Это направление статистики обычно называется «фреквентизм» (frequentism), хотя также его называют «фишеровской статистикой» (в противовес байесовской){584}.