Разберись в Data Science. Как освоить науку о данных и научиться думать как эксперт - Алекс Дж. Гатман

В этом разделе мы лишь в общих чертах обсудили различные способы визуализации данных и то, какую информацию можно быстро получить с их помощью. Если вы хотите глубже изучить методы использования визуализации в процессе исследования данных, мы рекомендуем ознакомиться со следующими книгами:

– Now You See it: Simple Visualization Techniques for Quantitative Analysis, Stephen Few (Analytics Press, 2009);

– The Visual Display of Quantitative Information, Edward Tufte (Graphics Press, 2011).

Осторожно: выбросы и отсутствующие значения

В каждом наборе данных будут наблюдаться аномалии, выбросы и пропущенные значения. Что с ними можно сделать?

Например, в диаграмме размаха на рис. 5.2 использовалось эмпирическое правило для того, чтобы отметить несколько точек данных в качестве возможных выбросов. Однако вам не следует отключать критическое мышление и автоматически удалять подобные точки как потенциально бесполезные только потому, что на графике они классифицированы как «выбросы». Компания Zillow никогда не удаляет полезную информацию из своих наборов данных просто потому, что средство визуализация приняло их за выбросы. Учитывайте контекст данных: в мире недвижимости нередко встречаются дома, которые стоят намного больше, чем большинство других домов. Вспомните уроки из предыдущей главы. Для удаления выбросов вы должны иметь хорошее обоснование. Есть ли оно у вас?

А как быть с отсутствующими значениями? Означает ли отсутствие значения в поле «Размер подвала» то, что в доме есть подвал, но нам неизвестна его площадь? Или это значит, что подвала нет, и значение должно быть равно 0?

Мы имеем право забрести в дебри. Специалисты по работе с данными принимают сотни подобных решений в ходе реализации проектов. Однако их суммарный эффект может оказаться весьма значительным. Предоставленные самим себе и лишенные руководства со стороны экспертов в предметной области аналитики могут отбрасывать сложные и нюансированные случаи до тех пор, пока данные не станут слишком оторванными от той реальности, которую они призваны описать. Вот почему всем, включая менеджеров, важно четко понимать, чем занимаются команды дата-сайентистов.

Обнаружили ли вы какие-либо взаимосвязи?

К счастью, первые сводные статистические показатели и результаты первой визуализации данных о домах кажутся обнадеживающими, и вы думаете, что эти данные действительно могут быть использованы при построении модели для прогнозирования цены продажи. Поэтому вы переходите к следующему вопросу: «Обнаружили ли вы какие-либо взаимосвязи?»

Визуализация данных показала, что более высокое общее качество дома и его большая площадь связаны с более высокими ценами, и это неудивительно. Это та обратная связь, которую вы хотите получить от данных. Эти взаимосвязи имеют смысл, и выбранные вами переменные будут использоваться при построении модели для прогнозирования стоимости дома. Какие еще переменные могут быть связаны с его ценой продажи?

На данном этапе для обнаружения в данных интересных закономерностей и взаимосвязей имеет смысл использовать сводную статистику, поскольку построение всех возможных диаграмм рассеяния может оказаться нецелесообразным. Вместо этого взаимосвязи, обнаруженные на таких диаграммах, могут быть сведены к статистической корреляции, которая допускает (но не доказывает) существование взаимосвязи между двумя числовыми переменными.

Корреляция

Корреляция – это мера связанности двух переменных. Наиболее распространенный коэффициент корреляции в сфере бизнеса – коэффициент корреляции Пирсона. Он принимает значения в диапазоне от –1 до 1 и измеряет степень линейной зависимости (простая прямая линия) между парами чисел, отображаемыми на диаграмме рассеяния. Корреляция может быть положительной, когда увеличение одной переменной сопровождается увеличением другой: большие дома продаются за большие деньги. Корреляция также может быть отрицательной: более тяжелые автомобили менее экономичны в плане расхода топлива. Коэффициент корреляции между размером дома и ценой продажи составляет 0,62 (рис. 5.6). Чем ближе точки к линии тренда, тем выше степень корреляции[41].

Рис. 5.6. Коэффициент корреляции между площадью дома и ценой продажи составляет 0,62 (определяется степенью близости точек данных к линии тренда)

В данном случае корреляция может помочь двумя способами. Во-первых, нахождение переменных, коррелирующих с ценой продажи, упрощает ее предсказание. Во-вторых, корреляция позволяет уменьшить избыточность данных, поскольку две сильно коррелированные переменные содержат примерно одинаковую информацию. Представьте два столбца с данными, в одном из которых площадь дома указана в квадратных футах, а во втором – в квадратных метрах. Эти значения идеально коррелируют между собой, и для проведения анализа достаточно только одного из них.

Хотя большинство из нас имеет базовое представление о корреляции и часто использует ее, данная метрика может ввести в заблуждение. Давайте разберемся, почему.

Осторожно: неверная интерпретация корреляции

Люди часто забывают о том, что корреляция – это мера линейной зависимости, но не все зависимости линейны.

Предположим, что вы анализируете данные по двум районам, в каждом из которых находится по 11 домов. Статистический анализ показывает, что количество деревьев на участке сильно коррелирует с ценой домов в этих районах. Коэффициент корреляции равен 0,8: дома с большим количеством деревьев на участке, как правило, продаются дороже.

Однако визуализация данных показывает нечто неожиданное. На рис. 5.7 слева показана вполне ожидаемая для высокой корреляции картина: линейный тренд с разбросанными вокруг него точками данных. Однако график справа показывает, что количество деревьев положительно коррелирует с ценой дома только до определенной точки (11 деревьев), после которой тенденция меняется на противоположную. В районе Хиллтоп на газонах у некоторых домов деревьев может быть слишком много.

Данные, представленные на рис. 5.7, взяты не из набора данных о недвижимости в Эймсе, с которым мы работали до этого, а из популярного набора данных под названием «Квартет Энскомба»[42]. У него четыре набора числовых данных, имеющих идентичные сводные статистические показатели, но разные результаты визуализации. (Здесь мы привели только два и скорректировали данные в соответствии с темой недвижимости.)

Рис. 5.7. Два набора данных с коэффициентом корреляции 0,8

Мораль: используйте методы визуализации для проверки заслуживающих внимания корреляций в данных, потому что выявленная линейная зависимость может не рассказать всей истории.

Корреляция отсутствует, но все равно интересно

На рис. 5.8 показаны два графика, которые имеют одинаковый близкий к нулю коэффициент корреляции. Однако это не значит, что на них не происходит ничего интересного. C «датазавром», изображенным на левом графике, вам вряд ли доведется столкнуться, чего нельзя сказать о сценарии на правом графике. На нем на самом деле отображены пять групп линейно коррелированных данных, которые при рассмотрении их как единой группы оказываются линейно некоррелированными. Это явление известно