Разберись в Data Science. Как освоить науку о данных и научиться думать как эксперт - Алекс Дж. Гатман

Хотя этот пример может показаться очевидным, регрессия к среднему имеет более широкие последствия для процесса рассуждения. Если вы не смотрите на все имеющиеся данные с высоты птичьего полета, некоторые наблюдения могут показаться экстремальными. В этом случае предвзятость может проявиться в том, что вы примете решение, основанное на этих экстремальных событиях, не принимая во внимание то, что независимо от ваших действий на горизонте находится более предсказуемое событие, близкое к истинному среднему значению.

Возьмем, к примеру, игрока Национальной футбольной лиги (NFL), который после выдающегося года оказался на обложке популярной видеоигры Madden NFL, но в следующем году показал гораздо менее впечатляющие результаты. Этот феномен получил название «проклятья Madden»[142]. Но мы называем это регрессией к среднему значению. Или представьте себе в целом благонадежного сотрудника, у которого выдался тяжелый год, в результате чего его работа получила плохие отзывы. Для него составляется план исправления, и в следующем году его производительность восстанавливается. Менеджер приписывает это улучшение своему мудрому руководству, однако показатели работника, скорее всего, в любом случае улучшилась бы из-за регрессии к среднему значению.

Регрессия к среднему призывает нас не верить выбросам. Ни удача, ни неудача не продлится вечно.

Парадокс Симпсона

Еще одно явление, на которое следует обратить внимание, – парадокс Симпсона. Это потенциально катастрофическая ловушка при работе с данными наблюдений (с которыми вам предстоит работать чаще всего). Парадокс Симпсона возникает в том случае, когда тенденция или связь между переменными меняется на противоположную после добавления третьей переменной. В связи с парадоксом Симпсона вам следует остерегаться двух ошибок: принятия корреляции за причинно-следственную связь и выявления неправильной корреляции.

Рассмотрим данные в табл. 13.1, взятые из исследования 1986 года, посвященного двум типам хирургических методов удаления камней в почках[143]. Обзор медицинских записей показал, что новая, минимально инвазивная процедура удаления камней в почках является более успешной (83 %) по сравнению с традиционной (78 %). Результаты были статистически значимыми и, по общему мнению, вполне убедительными.

Табл. 13.1. Показатели успеха хирургических процедур удаления камней из почек

К сожалению, в этих данных возник парадокс Симпсона. Дальнейший обзор данных показал, что при разбивке камней в почках по размерам, результат меняется на противоположный. Как оказалось, традиционная процедура отличалась высокими показателями успеха как у пациентов с небольшими камнями в почках (диаметром <2 см), так и у пациентов с большими камнями (диаметром ≥2 см). Эта разбивка показана в табл. 13.2.

Табл. 13.2. Парадокс Симпсона на примере показателей успеха хирургических процедур удаления камней из почек

Как это возможно? Дело в том, что новая процедура была опробована на множестве пациентов с небольшими камнями в почках (то есть на предположительно более легких случаях), в то время как традиционная процедура в основном использовалась для лечения пациентов с более крупными камнями в почках. Несмотря на то что традиционная процедура показала лучшие результаты при удалении небольших камней (93 %), новая процедура была выполнена гораздо большему количеству пациентов, а показатель ее успешности составил 87 %. Таким образом, общий показатель успеха новой процедуры тяготеет к 87 %. В табл. 13.2 мы видим, что общий показатель успешности традиционной процедуры (78 %) больше тяготеет к показателям успеха у пациентов с крупными камнями в почках (73 %). Новая процедура сработала хуже на этой группе, но она была выполнена слишком небольшому количеству пациентов, чтобы это повлияло на ее общий показатель успешности. Запутались? Это нормально. Именно поэтому данный феномен и называется парадоксом.

Чтобы снизить риски, связанные с парадоксом Симпсона, разделите наблюдения по группам случайным образом, чтобы исключить смешивание. Другими словами, соберите экспериментальные данные.

Предвзятость подтверждения

Такая ловушка, как предвзятость подтверждения, представляет потенциальную опасность для любого проекта по работе с данными. Ее суть заключается в такой интерпретации данных и результатов, которая подтверждает уже существующие убеждения; при этом противоречащие этим убеждениям доказательства отбрасываются.

В подобной предвзятости легко обвинить руководителей высшего звена, политиков и лиц, заинтересованных в результате деятельности бизнеса, – но признать это за собой гораздо труднее. Тем не менее для многих команд аналитиков предвзятость подтверждения – практически неотъемлемая часть образа жизни. Дело в том, что порой им приходится искать доказательства правильности шагов руководства, которые могут предприниматься еще до анализа достаточного количества данных. По крайней мере, часть работы этих команд направлена на формирование предвзятости подтверждения. Это не просто, но, как главный по данным, вы должны стремиться преодолеть эту предвзятость и сообщить о результатах максимально правдиво. В противном случае команда может использовать предвзятость подтверждения для обоснования решений руководства вместо того, чтобы анализировать все доступные решения, не подвергаясь давлению с его стороны.

Ловушка невозвратных затрат

Суть ловушки невозвратных затрат – желание продолжать работу над проектом, в который уже было вложено огромное количество времени, денег, ресурсов и усилий. В такой ситуации очень трудно отказаться от результатов, даже если вы понимаете, что:

– У вас нет нужных данных для реализации проекта.

– У вас нет подходящей технологии для реализации проекта.

– Исходное содержание проекта не охватывает его основополагающие достоинства.

Некоторые компании предпочли бы, чтобы вы предоставили хоть какие-то результаты, оправдывающие затраченное время и усилия. Подобное давление создает благодатную почву для формирования многих из перечисленных выше предвзятостей.

Алгоритмическая предвзятость

По мере автоматизации все большего количества решений с помощью машинного обучения мы все чаще сталкиваемся с так называемой алгоритмической предвзятостью[144], буквально встроенной в мир данных и вычислений. Хотя исследователи и организации лишь недавно начали внимательно изучать ее происхождение и последствия, такая предвзятость существовала в данных всегда. Часто она является продуктом статус-кво, и ее может быть трудно обнаружить до тех пор, пока этот статус-кво не будет подвергнут фундаментальному пересмотру. Однако, если вы будете осознанно подходить к своей работе, то сможете обнаружить эту предвзятость гораздо раньше.

Вспомните пример из предыдущих глав, в котором мы рассматривали данные о кандидатах на стажировку и пытались предсказать, получат ли они приглашение на собеседование. Если бы набор данных включал такую категориальную переменную, как пол, и исторически мужчины получали бы приглашение на интервью чаще, чем женщины, то каждый алгоритм выявлял бы эту взаимосвязь и чаще отдавал предпочтение соискателям-мужчинам. Для алгоритма существуют лишь единицы и нули, но главные по данным должны знать, что подобная предвзятость имеет место даже в таких ведущих технологических