Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

(фрейминга) проявляет себя при опросах. На односложные вопросы (типа: должно ли государство оплачивать лечение?) чаще отвечают «да».

Ну и как? Правда ли, что британцы больше всего любят перекусывать тостами с сыром? Не исключено, что raisin.co.uk серьезно озаботилась репрезентативностью выборки и даже ввела веса для учета возрастных, гендерных и электоральных особенностей населения, но так ли это, мы просто не знаем. (Мы спрашивали! И если нам ответят, мы учтем это при переиздании, честное слово.)

Но тратить столько сил на чисто развлекательный опрос было бы довольно странно – мы бы удивились, если б они это сделали. Скорее всего, они просто разместили в сети анкету и получили ответы преимущественно от тех, кто участвует в интернет-опросах.

Вопрос в том, совпадают ли вкусы отвечавших и населения в целом. Могут и совпадать. Но этого мы не знаем. Знаем только, что из двух тысяч опрошенных ими людей 22 % выбрали тосты с сыром. Ну да, факт интересный сам по себе – из него следуют некоторые выводы в отношении этих двух тысяч. Но скорее всего, это мало что говорит обо всех британцах.

Глава 5

Статистическая значимость

Верно ли, что мужчины больше едят в присутствии женщин, чтобы произвести на них впечатление? Так утверждалось в новости, вышедшей в 2015 году в The Daily Telegraph. Об этом же исследовании писали и в Reuters, и в The Economic Times в Индии.

В тех публикациях говорилось, что в присутствии женщин мужчины едят на 93 % больше пиццы и на 86 % больше салата, чем в присутствии других мужчин. Они опирались на исследования Брайана Вансинка, психолога из лаборатории пищевых продуктов и торговых марок Корнеллского университета, и двух его соавторов.

Вы уже могли догадаться, в историях, о которых мы рассказываем в этой книге, не все числа надежны. Однако в данном случае это не вина журналистов. Здесь само исследование оказалось совершенно неправильным, и этот случай очень показателен: на его примере видно, как работает и не работает наука. Чтобы разобраться, почему приведенной статистике нельзя доверять, нам придется углубиться в механизмы научной деятельности. Если вы в них разберетесь, то многое из того, о чем мы расскажем в последующих главах, будет гораздо прощепо– нять.

Почти в любой публикации о науке и числах встречается термин «статистическая значимость». Вам простительно думать, что речь идет о важности чисел, о которых вы читаете. К сожалению, все намного сложнее. Вот что это значит, согласно публикации 2019 года:

В предположении, что верна нулевая гипотеза и что исследование повторяется бесконечное число раз с помощью случайных выборок из той же самой совокупности людей, менее 5 % этих результатов будут более экстремальны, чем текущий результат.

Стало понятнее? Давайте разбираться.

Предположим, мы хотим что-то выяснить. Например, помогает ли чтение книг с названием «Цифры врут» лучше понимать статистику, которая приводится в новостях. Возьмем солидную выборку из тысячи человек: в нее войдут некоторые из тех миллионов людей, кто прочитал эту книгу, а также несколько людей, которые – увы! – этого не сделали. (Для простоты будем считать, что до того, как кто-то ознакомился с нашим трудом, группы были совершенно одинаковыми; хотя понятно, что на самом деле покупатели этой книги в среднем намного талантливее, умнее и красивее, чем остальное население.)

Потом проведем среди этих людей несложный тест, чтобы проверить их знания статистики и узнать, лучше ли результаты у тех, кто прочитал книгу.

Предположим, что да, лучше. А как узнать, не простая ли это случайность? Наши читатели действительно лучше справляются с тестом или это случайная вариация? Для ответа на этот вопрос мы воспользуемся специальной методикой – проверкой достоверности (или проверкой гипотезы).

Так, предположим, что «Цифры врут» никак не влияют на читателей, и представим результаты. Это называется нулевой гипотезой. При другом варианте – альтернативной гипотезе – книга произвела некий положительный эффект.

Это хорошо иллюстрируется графиком. Если верна нулевая гипотеза, то пик кривой будет возле среднего значения – большинство людей окажется в середине, оттеснив на края тех немногих, кто выполнит тест очень хорошо или очень плохо. Сама кривая будет похожа на кривую нормального распределения из главы 3. При этом среднее значение и график кривой окажутся похожими у обеих групп (тех, кто прочитал книгу, и тех, кто этого не сделал).

Если же верна альтернативная гипотеза, то средний балл читателей будет выше среднего балла другой группы и кривая распределения для этой группы сместится вправо.

Но даже если верна нулевая гипотеза и книга не оказывает никакого эффекта; если – внезапно – окажется, что обе группы одинаково хорошо разбираются в статистике, все равно останется одна проблема – вам не избежать случайных вариаций. У кого-то будет просто неудачный день. Вспомните фильм «Осторожно! Двери закрываются» – Гвинет Пэлтроу в одной вселенной пропускает свой поезд, опаздывает на наш тест, расстраивается и сдает его плохо; а в другой – приходит вовремя, блестяще отвечает на вопросы и влюбляется в Джона Ханну. Пунктуальность и душевное равновесие, вероятно, не сделают из девушки эксперта по статистике, однако благоприятно отразятся на результатах теста. Есть некоторая (пусть и небольшая) доля случайности в том, насколько хорошо каждый участник выполнит задания.[12]

Если несколько не читавших книгу выполнят тест очень плохо, а несколько прочитавших – очень хорошо, это может заметно изменить среднее значение – покажется, что читатели в общем проходят тест намного лучше.

Итак, представим, что по какой-то причине ваши результаты говорят, что читатели лучше справляются с тестом. Теперь важно узнать, насколько вероятно получить такие (или еще более экстремальные) результаты, если верна ваша нулевая гипотеза – чтение книги не влияет, а все вариации случайны. Это и называется проверкой достоверности.

Нет конкретного значения, при котором абсолютно ясно, что нулевая гипотеза неверна: теоретически даже самые сильные различия могут оказаться случайными. Но чем больше разница, тем меньше шансов, что это случайно. Ученые измеряют шансы случайного совпадения с помощью вероятности, или p-значения.

Чем менее правдоподобна случайность какого-нибудь события, тем меньше p. Если есть только один шанс из ста, что получится не менее экстремальный результат, если чтение книги не оказывает никакого эффекта, то p = 0,01. (Однако это не значит – и это ИСКЛЮЧИТЕЛЬНО ВАЖНО, настолько, что мы дважды напишем «ИСКЛЮЧИТЕЛЬНО ВАЖНО» прописными буквами, что вероятность того, что данный результат неверен, составляет одну сотую. Мы позже вернемся к этому, а пока просто отметим как факт.)

Во многих науках принято считать, что если p меньше или равно 0,05 – иными словами вы ожидаете увидеть столь экстремальные результаты