Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Сама по себе теория хаоса – это демон, которого можно приручить. И это удалось, хотя бы частично, сделать синоптикам. Они гораздо лучше понимают, что происходит в атмосфере, чем сейсмологи – в земной коре. В большей или меньшей степени они представляют себе, как работает погода на молекулярном уровне.

У сейсмологов нет такого преимущества. «Анализировать климатические системы просто, – размышлял Боумэн. – Если они хотят увидеть, что происходит в атмосфере, им нужно просто посмотреть наверх. Мы же смотрим на лежащий под ногами камень. Большинство событий происходит на глубине 15 м под землей. Если отвлечься от того, что показывают в фантастических фильмах, у нас нет никакой надежды туда попасть. Это – фундаментальная проблема. Нет такого способа, используя который можно было бы напрямую измерить напряжение».

Не обладая теоретическим пониманием, подобным тому, что есть у синоптиков, сейсмологи вынуждены полагаться исключительно на статистические методы предсказания землетрясения. Вы можете ввести статистическую переменную под названием «напряжение» в свою модель, как попытался сделать Боумэн. Однако, поскольку величину этой переменной невозможно измерить напрямую, она может быть выражена исключительно в виде математической функции от параметров прошлых землетрясений. Боумэн полагает, что исключительно статистические подходы подобного рода, с большой долей вероятности, не сработают. «Набор данных содержит огромную долю шума, – полагает он. – При тестировании гипотез мы просто не можем получить статистически значимые результаты».

Процесс, происходящий в системах, основанных на данных с большой долей шума и на не до конца разработанной теории (а таковыми являются предсказания землетрясений или отдельные области экономики и политики), состоит из двух этапов. Сначала люди начинают ошибочно принимать шум за сигнал. После этого возникший шум заполняет журналы, блоги и новости ложными сигналами, подрывающими научное развитие и мешающими нам понимать, как на самом деле работает система.

Оверфиттинг: самая важная научная проблема, о которой вы никогда не слышали

Когда статистики ошибаются и принимают шумы за сигнал, они называют это оверфиттингом[78]. Представьте себе, что вы – мелкий уголовник, а я – ваш босс. Я поручаю вам найти хороший метод подбора цифровых комбинаций для цифровых замков, аналогичных тем, что можно найти в школьных шкафчиках (возможно, мы хотим стащить у школьников деньги, припасенные на обед). Я хочу, чтобы вы нашли способ, позволяющий с высокой вероятностью подобрать нужную комбинацию замков в любое время и в любом месте. Для практики я даю вам три замка – красный, черный и синий.

Поэкспериментировав с замками в течение нескольких дней, вы возвращаетесь ко мне и рассказываете, что смогли найти ошибкоустойчивое решение. По вашим словам, если замок красный, то правильная комбинация – 27–12–31. Если он черный, то нужно использовать цифры 44–14–19, а если синий – 10–3–32.

На все это я могу сказать только то, что вы не справились с заданием. Очевидно, что вы вычислили, как открыть эти три конкретных замка. Однако вы ничего не сделали для создания теории, позволяющей открывать замки, когда комбинация неизвестна нам заранее. Допустим, я бы хотел узнать, можно ли открывать эти замки с помощью скрепки из хорошей стали или же следует воспользоваться каким-то присущим им механическим дефектом. Даже если бы это вам не удалось, вы могли бы найти какой-то обходной маневр – например, какие-то цифры, которые появляются в комбинациях чаще других. Вы же дали мне слишком конкретное решение для общей проблемы. Это и есть оверфиттинг, и он способен привести к ухудшению любых прогнозов.

Название оверфиттинг (оverfitting) связано с тем, что статистические модели «подстраиваются, подгоняются» (fit) под прошлые наблюдения. Степень подгонки может быть слишком общей. И такое явление называется «андерфиттингом» (underfitting). При андерфиттинге вы захватываете меньшую часть сигнала по сравнению с максимально возможной. Либо же модель может обладать свойством оверфиттинга, иными словами, ваши данные содержат слишком много шума, что не позволяет четко выявить структуру, лежащую в их основе. На практике второй тип ошибки встречается намного чаще.

Чтобы понять, как это работает, давайте использовать допущение, которого в реальной жизни не бывает почти никогда. Мы будем точно знать, как должны выглядеть реальные данные. На графике на рис. 5.4 изображена гладкая параболическая кривая с максимумом посередине. Такой кривой можно описывать любые интересные для нас данные из реального мира. Например, как мы уже видели в главе 3, именно такая кривая довольно четко описывает изменение результативности бейсболистов с увеличением возраста, поскольку они значительно более результативны в середине своей карьеры, чем в конце или начале.

Рис. 5.4. Истинное распределение данных

Однако мы не можем наблюдать эту зависимость напрямую. Вместо этого мы имеем набор отдельных точек, характеризующих данные, на базе которых мы должны найти закономерность. Кроме этого, на эти точки данных влияет масса своеобразных обстоятельств – иными словами, у нас имеются и сигнал, и некоторый шум.

На график я нанес 100 точек данных, представленных в виде кругов и треугольников. Этого должно быть достаточно для выявления сигнала даже с учетом шума. Хотя в данных и присутствует некая доля случайности, вполне понятно, что они в целом следуют нашей кривой.

Но что произойдет, если объем данных, имеющийся в нашем распоряжении, окажется более ограниченным (как обычно и происходит в реальной жизни)? Очевидно, что это приведет к увеличению ошибки. На графике, приведенном на рис. 5.5a, показаны примерно 25 точек из сотни. Каким образом вы могли бы теперь соединить эти точки?

Рис. 5.5а. Ограниченная выборка данных

Рис. 5.5б. Хорошо подобранная модель

Разумеется, зная, как должна выглядеть подлинная тенденция, вы будете склонны соединять точки в виде некоторой кривой. На практике моделирование таких данных с помощью простого математического инструмента, известного как квадратное уравнение, действительно помогает выявить связь, очень похожую на истинную (рис. 5.5б).

В ситуациях, когда мы не знаем, какими должны быть наши данные, но хотим, чтобы они соответствовали «платоническому идеалу», мы часто склонны проявлять жадность. На рис. 5.5в отражен результат такого поведения – модель с оверфиттингом. При создании этого графика была разработана комплексная функция{354}, которая отыскивает каждую из отдаленных точек данных. При попытке «увязать» их между собой значение функции колеблется (довольно невероятным образом) вверх и вниз. И в результате мы еще больше удаляемся от понимания истинной связи, и прогнозы, которые мы делаем, становятся еще менее качественными.

Казалось бы, что избежать подобной ошибки легко, но только в том случае, если бы мы были всемогущи и всегда представляли себе структуру данных. Однако почти всегда в реальных условиях нам приходится действовать по индукции[79], находя структуру на основе имеющихся данных. Скорее всего, в вашей модели будет проявляться оверфиттинг, когда объем данных ограничен, сами данные засорены шумом, а ваше понимание фундаментальных связей достаточно слабо. И эти обстоятельства принимаются во внимание при прогнозировании землетрясений.

Когда мы не знаем об истинной связи или не хотим об этом знать, у нас появляется множество причин, по которым мы будем склоняться к оверфиттингу. Одна из них состоит в том, что модель с оверфиттингом будет лучше соответствовать результатам большинства статистических тестов, используемых прогнозистами. Например, довольно часто встречается тест, который оценивает разброс данных в модели. Судя по его результатам, модель с оверфиттингом (см. рис. 5.5в) позволяет объяснить 85 % дисперсии. И благодаря этому она выглядит «лучше», чем модель с хорошей степенью подгонки (см. рис. 5.5б), объясняющая лишь 56 %. Однако, по сути, модель с оверфиттингом обеспечивает такие высокие результаты за счет своеобразного обмана – она скорее принимает во внимание шум, а не сигнал. То есть на самом деле она обладает меньшей степенью достоверности при объяснении событий в реальном мире{355}.

Рис. 5.5 в. Модель с оверфиттингом

Несмотря на всю очевидность приведенного выше объяснения, многие прогнозисты полностью игнорируют эту проблему. Значительное количество статистических методов, имеющихся в распоряжении исследователей, позволяет им вести себя подобно ребенку, пытающемуся увидеть в формах облаков изображения зверей (это занятие, безусловно, очень интересное, но совершенно ненаучное)[80]. Математик Джон фон Нейман говорил об этой проблеме так: «Кривую с четырьмя параметрами я могу подогнать под слона, а с пятью – я заставлю слона махать хоботом»{356}.