Том13. Абсолютная точность и другие иллюзии. Секреты статистики - Пере Грима

«Неформальные» опросы

Профессиональная ассоциация разослала своим членам письма с анкетами, содержавшими вопросы о работе и годовом доходе. Целью исследования было получить данные, которые затем можно было бы использовать при переговорах о размере заработной платы. Участникам требовалось указать тип компании, в которой они работают (международная, семейная, крупная, мелкая, с большими традициями, недавно основанная и так далее), сферу деятельности, должность, время работы на этой должности, в компании, в сфере деятельности вообще и, наконец, величину заработной платы и премий. Участникам опроса также были высланы конверты с обратным адресом для отправки заполненных анкет по почте. Было отправлено 5 000 анкет и получено 357 ответов. Надежность выводов составила 95 %, погрешность — 5 %.

Если вы сверитесь со справочной таблицей, содержащей размеры выборок, то увидите, что размер выборки является корректным. Проблема в том, что эта выборка не является случайной. Следовательно, результаты опроса ошибочны. Если отвечают только желающие, то такую выборку нельзя считать случайной. Возможно, что участники опроса, занимающие высокие посты, очень заняты, постоянно находятся в командировках и не имеют времени на участие в опросах. В опросе также не примут участие те, кто поздно возвращается с работы, мало зарабатывает или временно не имеет работы и не хочет возвращаться к этой теме, а также те, структура зарплаты которых не соответствует ни одному из вариантов, предлагаемых в анкете. Таким образом, выборка не является случайной. Значит, мы не можем использовать математические методы, корректные только для случайных выборок.

Это же справедливо и для анкет постояльцев отелей, в которых можно оставить отзыв о качестве обслуживания. Эти анкеты заполняют только те постояльцы, которые особенно недовольны обслуживанием, либо те, кто хочет выразить благодарность в письменном виде (а также, возможно, те, у кого достаточно времени на заполнение анкеты). Информация, полученная из этих анкет, поможет определить положительные и отрицательные моменты, но ее нельзя использовать для получения статистических данных, отражающих мнение клиентов в среднем.

Если мы выйдем на улицу с микрофоном в руке и камерой на плече, чтобы опросить жителей, а затем представим их мнение в эфире с комментарием «мы вышли на улицы, чтобы узнать, что думают жители о…», это сделает нашу телепрограмму динамичной и интересной, но не поможет узнать истинное мнение горожан в целом.

Да или да? Значение формулировок вопросов

Формулировки вопросов, порядок их следования и даже ударение на отдельные слова может повлиять на результат опроса. Если мы косвенно указываем, какой ответ является «правильным», участник опроса, скорее всего, ответит именно то, что мы хотим услышать.

Когда автор этой книги и его коллега читали курс лекций по статистике для всех желающих, мы провели опрос среди слушателей, чтобы показать, как формулировки вопросов влияют на результат. Мы сказали, что хотим узнать мнение аудитории о новом законе, касающемся финансирования политических партий, и раздали всем опросные листы. Все листы выглядели одинаково, но в половине листов формулировка одного из вопросов была изменена.

Две формулировки одного и того же вопроса о финансировании политических партий.

Почти все опрошенные ответили «да» вне зависимости от того, какая из двух анкет им была выдана. То есть некоторые согласились с тем, что «крупные финансовые группы не должны вкладывать значительные суммы денег», другие — с тем, что «компании и организации должны иметь возможность вкладывать средства». Как вы видите, предпочтения составителей опроса могут повлиять на формулировки вопросов, что в свою очередь отразится на результатах. Следовательно, важно понимать, в чем заключается вопрос и как именно следует его задать. Также наряду с результатами опроса следует всегда приводить точные формулировки вопросов.

Звонит телефон, но вас нет дома. Телефонные опросы

Проведение опросов по телефону — самый простой и удобный способ, хотя очевидно, что и он имеет определенные недостатки. Телефон доступен практически всем, кто проживает в более или менее развитых районах, но молодежь предпочитает пользоваться мобильными телефонами. Очевидно, что их номеров нет в справочниках и они не войдут в число участников опроса.

Нужно определить, повлияет ли на результаты опроса тот факт, что в выборку не войдут те, у кого нет домашнего телефона. Также имеет значение, в какое время будет производиться опрос, кого мы будем опрашивать и как будем заменять тех, кто не пожелает участвовать в опросе. Если мы не уделим должного внимания этим моментам, выборка будет недостаточно репрезентативной, что приведет к серьезным ошибкам.

Предвыборные опросы — один из наиболее популярных способов применения статистики (о котором, однако, не все отзываются положительно). Эти опросы стоят особняком, так как приковывают очень большой интерес общественности. К тому же, в отличие от других случаев, в итоге нам становится известно истинное значение величины, которую мы хотим оценить. Проблема заключается в том, что, помимо традиционных сложностей с формированием случайной выборки, существуют и другие непростые моменты. Рассмотрим некоторые из них.

Избиратели постепенно изменяют свой выбор

Предвыборные опросы проводятся за несколько дней или даже недель до того, как пройдут выборы. В некоторых странах результаты таких опросов запрещено публиковать в течение определенного периода времени до выборов (в Испании этот срок равен одной неделе). Таким образом, экстраполяция выполняется дважды: в первый раз — когда мы экстраполируем результаты по выборке на всю генеральную совокупность, во второй — когда предполагаем, что в день выборов результаты будут теми же, что и в день опроса.

Однако в это время партии проводят предвыборную кампанию, проходят дебаты между кандидатами, могут происходить события, о которых кандидаты выскажутся определенным образом… Все это может повлиять на мнение избирателей, особенно тех, кто в момент опроса еще не определился с выбором.

За кого голосуют те, кто не определился?

Избиратели, которые не определились с выбором, представляют проблему для организаторов предвыборных опросов. Их доля нередко составляет от 20 до 50 % опрошенных. В этом случае их мнение определяется по результатам ответов на вопросы вида «Какой партии вы симпатизируете больше?», или «Программа какой партии вам ближе?», или «За какую партию вы голосовали на прошлых выборах?». Эксперт пытается предсказать, за какую партию проголосует участник опроса, который сам пока еще не знает этого.

Очевидно, что отнесение голосов не определившихся избирателей в пользу той или иной партии имеет очень большое значение. Эта задача лежит преимущественно в области социологии и политики, а не статистики.

* * *

КАК ПОЛУЧИТЬ КОНФИДЕНЦИАЛЬНУЮ ИНФОРМАЦИЮ И НЕ ПОСТАВИТЬ ОПРАШИВАЕМОГО В НЕЛОВКОЕ ПОЛОЖЕНИЕ

Когда мы задаем вопросы, которые считаются неэтичными, или же вопросы личного характера, участники опроса редко отвечают искренне. Однако существуют способы получить эту информацию и в то же время сохранить секрет опрашиваемого. Например, допустим, что неудобный ответ — «да». Чтобы участник опроса мог ответить на вопрос безбоязненно, можно действовать так.

1. Опрашиваемый достает карту из колоды. Половина карт — красные, половина — черные. Участник опроса никому не показывает карту и возвращает ее на место.

2. Если он вытянул красную карту, он отвечает «да», если черную — он отвечает на поставленный вопрос.

Очевидно, что если он ответит «да», то мы никак не сможем узнать, что произошло на самом деле: возможно, участник опроса вытянул красную карту либо он действительно ответил «да» на неудобный вопрос.

Если мы опросим 1000 человек и 612 ответят «да», примерно 500 из них ответят так потому, что они вытянули красную карту, поэтому их ответы следует исключить. Из остальных 500, которые действительно ответили на вопрос, 112 ответили положительно, следовательно, доля ответивших «да» составит 112/500 = 22,4 %.

* * *

Недостаточно откровенные ответы на вопросы

Формулировки вопросов и порядок их следования также имеют очень большое значение. Написание четких и понятных вопросов, которые не наводят на мысль о «правильном» ответе, — непростая задача. Вопросы должны быть составлены грамотно, а сотрудники, проводящие опрос, должны быть хорошо обученными и мотивированными (читай — высокооплачиваемыми).