Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

выводу, что она действительно лучше. В противном случае это просто вопрос статистической значимости, который мы обсуждали в главе 5. Мы не сможем отвергнуть нулевую гипотезу, что объяснять тут нечего.

Глава 20

Ошибка выжившего

Как написать бестселлер? Видимо, есть специальная формула, алгоритм или тайный код.

В одной статье (той, что про формулу) отмечался успех Дж. К. Роулинг, Э. Л. Джеймс и Алекс Марвуд и выдвигалось предположение, что ключ к успеху – быть женщиной с мужским псевдонимом. В другой (той, что про алгоритм) с помощью программы обработки текстов выявлялось 2800 характерных для бестселлеров свойств: «более короткие фразы, упор на рассказы от первого лица и не слишком вычурный выбор слов»; «эмоциональный ритм… эмоциональный подъем, затем снижение, снова подъем и снова снижение». Если автор работал журналистом, это тоже плюс (хорошая для нас новость).

Если ваш алгоритм с 97 %-ной точностью может по одному только тексту предсказать, станет ли книга бестселлером, вы, возможно, предпочтете сначала написать парочку-другую бестселлеров и разжиться миллионами, а уж потом поделиться с другими секретом успеха. Но мы не об этом. Нас интересует такой вопрос: лежит ли в основе этих уверенных рекомендаций что-то реальное? Или мы снова столкнулись с какой-то статистической ошибкой?

Внимание, спойлер: второе. Эта ошибка весьма напоминает ошибку техасского стрелка, которую мы обсуждали в предыдущей главе, но есть некоторые важные нюансы. Чтобы их понять, обратимся к интересной истории о бомбардировщиках Второй мировой.

В 1944 году военно-морские силы США проводили интенсивные бомбардировки японских взлетно-посадочных полос ценой колоссальных потерь в деньгах, ресурсах и живой силе. Бомбардировщики подвергались постоянным атакам со стороны вражеских истребителей и наземных установок; многие были сбиты. Американцы хотели укрепить свои самолеты броней, но броня тяжелая, поэтому ею не стоит покрывать весь корпус без необходимости: она снижает скорость и маневренность, сокращает дальность полета и максимальную полезную нагрузку.

Авиаконструкторы стали изучать повреждения самолетов, вернувшихся с боевых заданий, и заметили, что отверстия от пуль и шрапнели в основном находились на крыльях и фюзеляже, но не в моторе. Решили укрепить дополнительной броней именно их.

На ошибочность этого подхода указал статистик Абрахам Вальд. Военные изучали вполне определенные самолеты – те, что вернулись на авианосец. Даже получив множественные повреждения фюзеляжа и крыльев, они, как правило, могли добраться до базы. А те, у которых задело мотор, в основном падали в море и статистикой не учитывались.

Американские военные, сами того не понимая, изучали смещенную выборку (мы обсуждали такие в главе 4). Этот конкретный тип смещения называется ошибкой выжившего. Он связан с тем, что вы рассматриваете только тех представителей некоего класса, о которых слышали.

История о бомбардировщиках Douglas SBD Dauntless, падавших в Тихий океан, особенно драматична, но есть немало других, более обыденных примеров ошибки выжившего. Самое очевидное – книги успешных предпринимателей из серии «секреты моего успеха». Вам наверняка такие знакомы: «12 привычек очень богатых людей: как я заработал миллионы, вставая очень рано, потребляя только смузи из авокадо и увольняя случайным образом 10 % персонала каждые две недели», автор Хвастиус Богач.

Всем хочется знать, как заработать миллионы, поэтому подобные книги раскупают нарасхват. Но чаще всего они – просто списки ошибок выжившего.

В работе «Стандартные отклонения» («Standard Deviations») экономист Гэри Смит рассмотрел две книги, в которых исследовались общие характеристики 54 успешных компаний: корпоративная культура, дресс-код и тому подобное. Смит отметил: хотя до выхода этих книг акции всех этих компаний продавались выше рынка, с течением времени почти половина из них потерпела неудачу на фондовом рынке – то есть в среднем они функционировали хуже. А в книгах, расхваливавших превосходную корпоративную культуру, оценивались повреждения на приземлившихся самолетах, но не брались в расчет так и не вернувшиеся.

Или другой пример. Американский математик Джордан Элленберг рассказывает притчу о балтиморском брокере. Однажды утром вы получаете письмо от инвестиционного фонда: «Приглашаем вас инвестировать с нашей помощью, потому что мы всегда выбираем правильные акции. А чтобы вы в это поверили, вот вам бесплатный совет: купите акции „Кое-кто Инкорпорейтед“». На следующий день акции «Кое-кто Инкорпорейтед» дорожают.

А вам приходит новое письмо: «Сегодня продайте акции „Как-то там Холдингс“». На следующий день акции «Как-то там Холдингс» дешевеют.

И так они делают десять дней подряд, каждый раз угадывая. На одиннадцатый они пишут: «Теперь вы нам верите? Хотите сделать инвестицию?» Они угадали десять раз подряд, так что вы думаете: да! Беспроигрышное дело! И вбухиваете в акции все средства, отложенные на оплату обучения ваших детей в университете.

На самом деле они разослали 10 000 писем: в 5000 из них советовали покупать акции «Кое-кто Инкорпорейтед», а в 5000 – продавать. Если акции «Кое-кто Инкорпорейтед» росли, на следующий день они писали тем, кому рекомендовали покупать эти акции: в 2500 советовали покупать акции «Как-то-там», а в 2500 – продавать.

Если затем акции «Как-то-там» дешевели, советчики из фонда отправляли 2500 писем тем, кому рекомендовали продавать, и так далее. После десяти этапов оставалось около десяти человек, получивших десять удачных советов подряд. Эти люди отдавали такому замечательному брокеру все свои деньги, а тот немедленно исчезал. Именно таким методом телевизионный иллюзионист Деррен Браун последовательно выбирал пять лошадей-победителей, а потом убеждал молодую мать поставить все ее накопления на шестую.

В жизни подобные аферы, возможно, и не реализуются – Джордан Элленберг написал в твиттере, что не знает реального примера такого балтиморского брокера, хотя – по чистой случайности – могут найтись и они. Существуют тысячи инвестиционных фондов. Бывают периоды, когда некоторые из них получают удивительную прибыль и тем самым привлекают всеобщее внимание и горы инвестиций. Но значит ли это, что они гениально чувствуют рынок, или им просто везет, а вы не обратили внимание, что другие инвестиционные фонды тихо загнулись?

Дело обстоит так. Если 1296 человек в разноцветных шляпах бросают кости, то примерно у 216 из них выпадет шестерка. Если эти 216 бросят кости, то шестерка выпадет примерно у 36, а если они бросят кости, то шестерка выпадет примерно у шестерых. Если эти шестеро снова бросят кости, то одному может выпасть шестерка. А теперь посмотрите на шляпу этого счастливчика и скажите, что секрет выпадения четырех шестерок подряд – это оранжевая шляпа в черную полоску. Достигнув успеха, легко находить в прошлом то, что сопутствовало этому; нас же интересуют события, предсказывающие будущий успех. Нет никаких оснований полагать, что у человека с оранжевой шляпой в черную полоску и в следующий раз выпадет шестерка.

Ошибка выжившего – это пример более широкой проблемы – выбора по зависимой переменной. Звучит замысловато, но на самом деле идея проста: вы не можете понять, почему происходит Х, рассматривая только