Цифры врут. Как не дать статистике обмануть себя - Том Чиверс

(такие как количество опубликованных статей или цитирований статьи), что делает эти показатели всё худшими индикаторами качества исследований.

Бизнес сталкивается с той же проблемой. Том, один из авторов этой книги, в частности, знает: медиакомпании, которые измеряют вовлеченность пользователей числом просмотров страниц или количеством уникальных посетителей, часто создают контент, максимально увеличивающий эти показатели даже в ущерб качеству. (Помнится, один издатель настаивал на том, чтобы ссылка с основной страницы вела на еще одну основную страницу, – так каждый, кто хочет прочесть саму историю, должен был нажать на ссылку дважды и таким образом дважды учитывался в статистике просмотра страниц. Вероятно, и в вашей сфере найдутся похожие примеры.)

Беда в том, что эти числа – всего лишь заменитель того, что нас реально интересует. В случае с образованием мы хотим, чтобы школы выпускали высокообразованных граждан, готовых ко взрослой жизни. Сами по себе экзамены GCSE не должны волновать нас вовсе (несмотря даже на то что оценки влияют на доступ к следующим ступеням образования; это просто усиливает эффект Гудхарта). Нам неважно, сколько пациентов заново госпитализированы в течение 30 дней после выписки, – это число интересует нас только в той степени, в которой оно характеризует качество полученной ими медицинской помощи. И нам не принципиально, сколько статей публикуют ученые или как часто они цитируются, эти числа – всего лишь показатели качества их научной деятельности.

Мы не ратуем за отказ от измерений. Они необходимы для оценки качества процессов: правительство – при многомиллионном-то населении страны – не может оценивать каждую школу и каждую больницу по отдельности. То же относится и к крупным компаниям. Внутри них измерения тоже оправданы: например, автодилер может премировать тех сотрудников, кто продает больше машин, стимулируя их работать еще усерднее, и тем самым повысить общую производительность. Измерения необходимы.

Но у них есть и оборотная сторона. Если продавцы автосалона не объединят усилия, а начнут конкурировать между собой за покупателей, общий объем продаж может уменьшиться. Если руководство утратит бдительность, то упустит из вида, что показатели – это не то, что вас реально волнует, а просто индикатор чего-то часто сложного, многогранного и трудно определимого, но тем не менее реального – того качества, которое вам действительно важно. И журналисты тоже могут об этом забыть; тогда мы получаем пресс-релизы о числе произведенных средств индивидуальной защиты без комментария, идет ли речь о многоразовой маске-респираторе или об одной резиновой перчатке.

В некоторой степени закон Гудхарта можно обойти: если часто менять показатели или применять сразу несколько, его влияние уменьшается. Но никакие измерения не охватывают реальность полностью – она всегда гораздо сложнее.

«Поиск идеальной статистической характеристики, – отметил в твиттере писатель Уилл Курт, – сродни стремлению поместить на обложку книги такой крутой отзыв, что читать саму книгу уже не понадобится».

Довольно очевидно, что с целевым значением в 100 000 тестов на коронавирус произошло следующее. (Это не ретроспективная оценка: Том еще до победной реляции Хэнкока написал, что такая цель – «питательная среда для закона Гудхарта».) Идея – несомненно благородная – заключалась в том, чтобы поставить цель, которая – как премия за продажи автомобилей – увеличила бы число тестов. Но потом стало очень важно достичь именно ее, так что она внезапно с реального тестирования переориентировалась на возможность сделать тест, включив в себя тесты, отправленные по почте, и тесты на антитела.

На самом деле нам не нужно проводить именно 100 000 тестов ежедневно; нам важно, чтобы каждый, кому требуется тестирование, мог его пройти и чтобы система оперативно информировала заболевших о положительном результате и необходимости самоизолироваться.

Была ли реакция Великобритании на ковид – включая тестирование – адекватной и кого винить, если не особенно, – тема неизбежных публичных дискуссий на ближайшие годы. Но думать, что имеет значение, было ли проведено 30 апреля 2020 года 99 999 или 100 001 тест, просто смешно. Читая (или сообщая) о целевых значениях, показателях и статистике, всегда помните: это лишь индикаторы того, что нас реально интересует.

Заключение и руководство по статистике

Один из нас, Том, работает журналистом уже удручающе долго и сменил за это время вереницу изданий. В каждом из них был собственный редакционный стиль. Это позволяет поддерживать единообразие. Например, в The Daily Telegraph, где Том начинал, принято писать «59 процентов», а не «59 %» (на этом же настоял и издатель этой книги[37]). При первом упоминании о человеке там указывают его полное имя (Джон Смит), а далее называют его г-н Смит, а не просто Смит. Говоря о текущей пандемии, используют Covid-19, а не COVID-19; а для космического агентства – аббревиатуру Nasa, а не NASA[38].

В газете The Telegraph – свой стайлгайд; один из ее старых обозревателей, Саймон Хеффер, сделал из него полноценную книгу. В ней описаны правила обозначения людей и мест; в The Telegraph очень трепетно относятся к именам и титулам аристократов, военных и представителей духовенства. («Старшие сыновья герцогов, маркизов и графов в качестве титула учтивости используют второй титул отца, если таковой имеется. Сын герцога Бедфорда называется маркизом Тэвистоком. Старший сын лорда Тэвистока, если он у него есть, может использовать третий титул герцога, поэтому он является лордом Хауландом».)

У BuzzFeed – еще одного издания, где Том проработал несколько лет, – тоже есть руководство по стилю. В нем гораздо меньше внимания уделено различиям между монсеньорами и баронетами, зато упор сделан на постановку дефисов (butt-dial, circle jerk и douchebag) и пробелов (называя Дженнифер Лопес J.Lo, не нужно ставить пробел после точки)[39][40][41]. В каждом издании – свои правила, ориентированные в первую очередь на то, что важно для его читателей.

(Запомнилось, как редактор Sunday Sport, особо игривого британского таблоида, разослал всем сотрудникам возмущенную жалобу на заголовок «MAN LOSES B*LLOCKS BUT DOCS SAVE HIS BELL-END!» («Мужчина теряет яйца, но доктора спасают ему головку»): «Когда я увидел эту страницу, мне просто стало дурно, – писал он. – В этом заголовке целых ДВЕ грубые ошибки, которые должны бросаться в глаза каждому сотруднику редакции. „Bollocks“ НЕ надо цензурировать, даже в заголовках, и какого черта в „bellend“ вставили дефис?» И дальше он приводил список цензурируемых слов, которые сотрудникам следовало распечатать и держать перед глазами: SHIT (дерьмо): полностью и в основном тексте, и в заголовках. WANK (мастурбация): в тексте полностью, w**k в заголовках…»)

Даже в более мелких изданиях, которые не составляют собственных руководств, все равно есть внутренние правила: например, многие американские медиа следуют справочнику Associated Press.

Все это очень важно: четкое соблюдение внутренних правил помогает обеспечить единообразие и ясность публикаций, придает изданию более профессиональный вид. Как можно