Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Рис. 5.5 в. Модель с оверфиттингом

Несмотря на всю очевидность приведенного выше объяснения, многие прогнозисты полностью игнорируют эту проблему. Значительное количество статистических методов, имеющихся в распоряжении исследователей, позволяет им вести себя подобно ребенку, пытающемуся увидеть в формах облаков изображения зверей (это занятие, безусловно, очень интересное, но совершенно ненаучное)[80]. Математик Джон фон Нейман говорил об этой проблеме так: «Кривую с четырьмя параметрами я могу подогнать под слона, а с пятью – я заставлю слона махать хоботом»{356}.

Оверфиттинг представляет собой двойную проблему: он помогает нашей модели лучше выглядеть на бумаге, однако в действительности показывать худшие результаты. И из-за второй проблемы модель с оверфиттингом, применяемая для создания реальных прогнозов, в какой-то момент сильно нас подведет. А первая проблема будет создавать для нашей модели слишком впечатляющий образ (опять же до поры). Она будет считаться очень точной и заслуживающей доверия, подлинным шагом вперед по сравнению с прежними техниками. Это даст возможность опубликовать ее в научных изданиях, вытеснив с рынка другие модели, показывающие более честную картину. Но если модель включает в себя шум, у нее есть немалый потенциал для того, чтобы повредить научным результатам.

Как вы, возможно, уже догадались, модель прогнозирования землетрясений Кейлиса-Борока обладала огромным оверфиттингом. В ней использовался невероятно сложный набор уравнений, примененных к данным с большой долей шумов. За это пришлось заплатить свою цену – из 23 прогнозов, сделанных на ее основе, лишь три оказались верными. Дэвид Боумэн признал, что в созданной им модели имелись аналогичные проблемы, и вовремя перестал над ней работать.

Должен сразу сказать, что эти ошибки, как правило, представляют собой вполне искренние заблуждения. Если воспользоваться названием другой книги, то они отражают нашу склонность быть одураченными случайностью[81]. Особенности нашей модели могут казаться нам вполне объяснимыми и допустимыми. Мы даже можем, в полной мере этого не осознавая, работать в обратном направлении и создавать убедительно звучащие теории, позволяющие рационализировать нашу точку зрения и тем самым дурачить и самих себя, и своих друзей с коллегами. Майкл Бабяк, много писавший об этой проблеме{357}, характеризует дилемму следующим образом: «В научной работе мы стараемся выстроить баланс между любопытством и скепсисом».

И любопытство часто берет над нами верх.

Применялась ли в Японии модель с оверфиттингом?

Наша склонность ошибочно принимать шум за сигнал способна время от времени приводить к вполне печальным последствиям в реальной жизни. Япония, несмотря на высокую степень сейсмической активности в регионе, оказалась практически неготовой к разрушительному землетрясению 2011 г. Ядерный реактор в Фукусиме был способен выдержать землетрясения магнитудой до 8,6 балла{358}, но никак не 9,1 балла. Археологические находки позволяют предположить, что в прежние времена высота цунами могла достигать 40 м{359} (что и произошло после землетрясения 2011 г.), однако эти случаи были, по всей видимости, забыты или проигнорированы.

Землетрясения магнитудой 9,1 балла происходят в мире в высшей степени редко – никто не может предсказать такое сильное землетрясение с точностью до десятилетия, не говоря уже о конкретной дате. Однако если говорить о Японии, то некоторые ученые и специалисты по широкомасштабному планированию предпочли полностью проигнорировать такую возможность, что может свидетельствовать о присутствии оверфиттинга.

На рис. 5.6a представлено соотношение частоты повторения исторически достоверных землетрясений и их магнитуд с эпицентром в Японии{360}. При построении графика учитывались все данные, за исключением землетрясения магнитудой 9,1 балла, произошедшего 11 марта. Как видно из рисунка, они образуют практически линейную группу; именно такое соотношение и следует из расчетов по методу Гутенберга и Рихтера. Однако при значении магнитуды около 7,5 балла на графике возникает перегиб. С 1964 г. в регионе не было землетрясений магнитудой более 8 баллов, и поэтому изменение наклона кривой кажется вполне оправданным.

Рис. 5.6а. Соотношение между средней годовой частотой землетрясений и их магнитудами; Япония (регион Тохоку), период с 1 января 1964 г. по 10 марта 2011 г.

Каким же образом соединять точки? Если вы решите следовать методу Гутенберга – Рихтера, игнорируя перегиб на графике, то у вас получится прямая линия, как приведено на рис. 5.6б. Но можно использовать и метод, который сейсмологи называют характеристическим соответствием (characteristic fit) (рис. 5.6в). Этот метод предполагает, что исторически достоверные данные о частоте повторения землетрясений в этой области могут в полной мере использоваться для создания объективной картины. В конкретном случае это может означать, что вы посчитали перегиб в имеющихся исторических данных реальным. Иными словами, предположили наличие какой-то веской причины, по которой землетрясения магнитудой выше 7,6 балла в этом регионе маловероятны.

Рис. 5.6б. Соотношение между средней годовой частотой землетрясений и их магнитудами; метод Гутенберга – Рихтера; Япония (регион Тохоку), период с 1 января 1964 г. по 10 марта 2011 г.

Рис. 5.6 в. Соотношение между средней годовой частотой землетрясений и их магнитудами; метод характеристического соответствия; Япония (регион Тохоку), период с 1 января 1964 г. по 10 марта 2011 г.

И это еще один пример того случая, когда кажущийся безобидным выбор допущения приводит к радикально разным выводам – в данной ситуации о вероятности землетрясения магнитудой 9 баллов в этой части Японии. Если оценивать имеющиеся данные, основываясь на методе характеристического соответствия, то можно сделать вывод, что землетрясения такой силы там практически невозможны: согласно этому методу подобные события могли возникать лишь каждые 13 тыс. лет. Однако оценка по методу Гутенберга – Рихтера показывает, что такие землетрясения могли происходить каждые 300 лет. Иными словами, подобные события возникают редко, но вряд ли их можно считать невозможными. Связанный с ними риск довольно значителен, и такой богатой стране, как Япония, вполне по силам к нему подготовиться{361}.

Характеристическое соответствие достаточно хорошо описывало те землетрясения, что происходили в районе Тохоку за наблюдаемый период. Однако, как мы уже успели видеть, подобный тип сопоставления не всегда хорош. Иногда он сопровождается возникновением модели с оверфиттингом и в этом случае лишь усложняет работу по выявлению истины. В данном случае модель с оверфиттингом привела к значительной недооценке вероятности катастрофического землетрясения в данном районе страны.

Проблема метода характеристического соответствия состоит в том, что он полагается на невероятно слабый сигнал. Как я уже упоминал, до землетрясения в Тохоку в этом регионе за последние 45 лет не происходило ни одного землетрясения магнитудой 8 баллов и выше. Однако заметим для начала, такие события вообще происходят редко. Согласно закону закон Гутенберга – Рихтера землетрясения такого масштаба в этой области могли возникать лишь примерно один раз в 30 лет{362}. Так что нет ничего особенного в том, что событие, которое происходит примерно раз в 30 лет, может не произойти в течение какого-либо 45-летнего периода{363}. Такое просто случается, так же как и у отличного бейсболиста с рекордными показателями может быть плохой день. Кроме того, в этой области Японии было довольно немного землетрясений с магнитудами величиной порядка 7 баллов. В случаях когда подобные землетрясения происходили в других частях мира, они почти всегда были предвестниками более масштабных событий. Почему же ученые считали, что случай Тохоку можно считать особенным?

На самом деле, сейсмологи как в Японии, так и за ее пределами нашли для этой ситуации логическое обоснование. Они предположили, что особенности состава морского дна в этом регионе (плотность и низкая температура воды) могут препятствовать возникновению масштабных землетрясений{364}. Некоторые сейсмологи обратили внимание на тот факт, что до 2004 г. ни в одном регионе с подобным типом морского дна не происходило землетрясения магнитудой 9 баллов.