Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Разумеется, рынки доступны далеко не в каждом случае. Часто в качестве утверждения по умолчанию приходится выбирать нечто иное. Порой в качестве байесовской априори может выступать обычный здравый смысл, не позволяющий сразу принимать на веру выводы статистической модели. (Эти модели – лишь аппроксимации, и часто довольно грубые, хотя порой и кажется, что они обещают математическую точность.) Информация становится знанием только в определенном контексте. Без него мы не можем отличить сигнал от шума, а поиск истины переполняется ложными результатами.

Теорема Байеса не допускает отсутствия априорных убеждений. Вы должны поработать над собой, чтобы умерить количество ваших предубеждений, но если вы говорите, что их нет, – значит, у вас их слишком много. А если вы способны сформулировать свои убеждения: «Вот откуда я к этому пришел»{1007} – значит, вы работаете добросовестно и признаёте, что пропускаете реальность сквозь свой субъективный фильтр.

Пробуйте и ошибайтесь

Возможно, следующий байесовский принцип применять проще всего: делайте много прогнозов. Вероятно, вы не захотите ставить на кон свой бизнес или жизнь, особенно поначалу[179], но это единственный способ стать лучше.

Теорема Байеса утверждает, что нам следует каждый раз при появлении новой информации обновлять прогнозы. С менее буквальной версией этой идеи мы все знакомы: это обычный метод проб и ошибок. Такие компании, как Google, у которых действительно есть Большие данные, не уделят моделированию слишком много времени[180]. Ежегодно они проводят тысячи экспериментов и тестируют свои идеи на реальных потребителях.

Теорема Байеса призывает нас быть дисциплинированными в том, как мы «взвешиваем» новую информацию. Если наши идеи чего-то стоят, мы должны быть готовы проверять их, выдвигая гипотезы, которые можно опровергнуть, и прогнозы, которые можно проверить временем. Как правило, мы не способны осознавать, как много шума в данных, и предвзято делаем ставку на новейшую информацию. Политические обозреватели часто забывают, что в опубликованных результатах опросов перед выборами всегда надо учитывать предел погрешности, а финансовые репортеры далеко не каждый раз могут донести до читателей, насколько неточными бывают порой данные экономической статистики. И в новостях достаточно часто встречаются так называемые выбросы[181].

Но мы можем размышлять и совершенно по-другому, когда слишком вкладываемся в проблему, как в личном, так и в профессиональном плане, и нам бывает тяжело изменить свое мнение, когда факты этого требуют. Если эксперт – один из тэтлоковских «ежей», то гордость может помешать ему изменить прогноз, даже когда данные расходятся с его картиной мира. Фанатиков, ожидающих, что любую идею можно уместить на бамперной наклейке, ждут все стадии разочарования, пока они не примут тот факт, что слишком упрощают реальность.

Чем чаще вы будете готовы проверять свои идеи на практике, тем скорее вы научитесь на своих ошибках и сможете избегать подобных проблем в будущем. Только герои кинофильмов могут долго смотреть в океан, ожидая озарения. В реальном мире идеи редко приходят, когда вы стоите на месте{1008}. «Большие» идеи тоже совсем необязательно появляются таким образом. Куда чаще мы идем по пути прогресса маленькими, незначительными шажками.

Наше восприятие предсказуемости

Нам сложно предсказывать как раз потому, что это очень важно: именно здесь пересекаются объективная и субъективная реальности. Чтобы отличить сигнал от шума, необходимы как научное знание, так и знание себя самого, а также спокойствие, чтобы принять то, что мы не можем предсказать, смелость, чтобы предсказать то, что можем, и мудрость, чтобы понять разницу между ними{1009}.

Наше мнение о том, насколько предсказуем мир, не раз изменялось с годами. И оценить его можно по количеству упоминаний слов «предсказуемо» и «непредсказуемо» в научных журналах{1010}. В начале XX в. оба слова использовались почти так же часто, как и каждое в отдельности. Великая депрессия и Вторая мировая война отвели «непредсказуемости» господствующее положение. По мере того как мир исцелялся от последствий кризисов, слово «предсказуемость» снова стало популярным, и пик его использования пришелся на 1970‑е гг. В последнее время частота упоминания слова «непредсказуемость» снова растет (рис. З .2).

Подобное восприятие предсказуемости больше подвержено влиянию научных тенденций{1011} и недолговечности нашей памяти (случалось ли недавно что-нибудь плохое?), чем прорывам в нашей способности делать прогнозы. Наше мнение о себе как об успешных предсказателях и реальность часто не соответствуют друг другу. И 1950‑е гг., время, когда мир все еще отходил от потрясений, связанных с войной, и считался относительно непредсказуемым, были более продуктивны и в сфере экономики{1012}, и в науке{1013}, чем 1970‑е, когда мы думали, что можем предсказать все, но на самом деле не могли.

Эти изменения нашли отражение не только в научных журналах. Если нарисовать тот же график, основанный на использовании слов «предсказуемое» и «непредсказуемое» в англоязычной художественной литературе, он будет выглядеть так же, как рис. З .2{1014}. Непредсказанные катастрофы, даже если они не оказали на нас воздействия, лишают нас уверенности в том, что мы сами управляем своей судьбой.

Однако мы предвзято считаем, что способность делать предсказания у нас лучше, чем на самом деле. Первые 12 лет нового тысячелетия были ухабистыми – одна непредсказуемая катастрофа следовала за другой. И пусть мы всегда будем возрождаться из пепла – побитыми, но не побежденными, чуть более скромными, когда дело касается наших способностей к прогнозам, и чуть менее склонными к повторению своих ошибок.

Рис. З .2. Изменение соотношения упоминаний слов «предсказуемость» и «непредсказуемость» в научных трудах, 1900–012 гг.

Благодарности

Как сказал писатель Джозеф Эпштейн, на самом деле написать книгу куда лучше, чем писать. Создание книги требует невероятного терпения, организации и дисциплины. Должен признаться: в работе над блогом я далеко не всегда проявляю эти качества.

И поэтому я многим обязан другим людям, обладавшим этими качествами в значительно большей степени, чем я, людям, чья мудрость помогла придать этой книге нужную форму и учесть множество важных и второстепенных аспектов.

Я хочу сказать спасибо своим родителям, Брайану Дэвиду Сильверу и Салли Тран Сильвер, которым посвящена эта книга, и моей сестре Ребекке Сильвер.

Благодарю потрясающего редактора Вирджинию Смит. Как и Лора Стикни, Энн Годофф и Скотт Мойерс, она верила в мое ви́дение этой книги. Эти люди пошли на некоторые компромиссы при создании книги, реализовавшей его. Они довольно терпеливо воспринимали ситуации, когда мне требовалось дополнительное время для более точного самовыражения.

Спасибо моему литературному агенту Сидель Крамер за помощь при создании и продаже этого проекта. Она дала совершенно правильный совет – спокойно, но без излишней самоуспокоенности относиться к ситуациям, когда мне казалось, что книга сходит с накатанного пути.

Спасибо моей ассистентке-исследователю Арикии Милликан, проявившей безграничный энтузиазм и глубокую заинтересованность в изучении различных научных и технических аспектов, необходимых при создании этой книги. Благодарю Юлию Камин, чьи организационные навыки помогали указать правильный путь, когда развитие книги оказалось на критической стадии. Спасибо Джейн Каволина и Эллен Каволина Портер, создавших высококачественные расшифровки моих интервью в крайне сжатые сроки.

Спасибо Эмили Вотруба, Веронике Виндхольц, Кэйтлин Флинн, Аманде Дьюи и Джону Шарпу за организацию производства в условиях огромного дефицита времени и за понимание того, что мое «сегодня» обычно значит «до конца сегодняшнего дня», а «до конца сегодняшнего дня» может означать «пять часов утра уже дня завтрашнего».

Спасибо Роберту Голдину за любовь и поддержку. Спасибо вам, Шашанк Пател, Ким Бэйлин, Брайан Джойнер, Кэти Халпер, Джейсон Маклин, Мариям Салех и Джессика Клейн, за спокойное отношение к тому, что я то по многу часов надоедал вам, приставая с расспросами, касающимися книги, то порой неделями прятался от вас. Спасибо Майке Коэн из New York Times, помощь которой оказалась значительно больше, чем я мог рассчитывать.

Благодарю моих боссов и коллег по New York Times, особенно вас, Меган Либерман, Джим Робертс, Дэвид Леонхардт, Лайза Тоцци, Джерри Маллени, Рик Берке, Дик Стивенсон, Дерек Уиллис, Мэтт Эриксон, Грей Вайс, а также и Хьюго Линдгрена, который поверил, что я смогу управлять и циклом создания книги, и циклом новостей. Спасибо Биллу Келлеру, Джерри Марцорати и Джилл Абрамсон за то, что они пригласили меня в семью New York Times.