Шум. Несовершенство человеческих суждений - Оливье Сибони

«Там, где есть место суждению, найдется и шум, – это относится и к анализу отпечатков пальцев».

«У нас есть дополнительная информация о расследовании, однако не будем рассказывать криминалистам все сразу, пока они не определятся, иначе лишние сведения могут исказить их суждение. Расскажем только то, что им совершенно необходимо знать».

«Второе мнение не будет независимым, если второй эксперт знает мнение первого. С третьим экспертом дело обстоит еще хуже; это и есть каскад наводящей информации».

«Для того чтобы бороться с шумом, сперва следует признать, что он вообще существует».

Глава 21

Стратегии отбора и агрегирования в прогнозировании

Важным компонентом многих суждений является прогноз. Каков будет уровень безработицы в следующем квартале? Сколько электромобилей продадут в следующем году? Как изменится климат через тридцать лет? Сколько времени займет строительство нового здания? Каким будет годовой доход компании? Как покажет себя новый сотрудник? В какие затраты выльется новый закон о загрязнении воздуха? Кто победит на выборах? Ответы на подобные вопросы имеют далеко идущие последствия. Нередко частные и государственные организации полагаются на такие прогнозы в своей деятельности.

Анализ, определяющий, когда и почему именно прогноз оказался ошибочным, четко дифференцирует понятия смещения и шума (также называемого непоследовательностью или ненадежностью). Каждый из нас согласится, что в определенных ситуациях на прогнозиста оказывается внешнее психологическое давление. Например, правительственные агентства265 частенько проявляют необоснованный оптимизм при прогнозировании бюджета. В общем случае они предсказывают недостижимый в реальности экономический рост и нереально низкий дефицит бюджета. На самом деле нам абсолютно неважно, что именно породило оптимистический настрой – когнитивное искажение или политические мотивы.

Более того, аналитики, как правило, склонны к чрезмерной уверенности266. Попроси`те их сформулировать прогноз в виде доверительного интервала, а не конкретного значения, и они наверняка выберут куда более узкий интервал, чем следовало бы. Например, журнал, публикующий квартальные прогнозы267, обращается к финансовым директорам американских компаний с просьбой спрогнозировать динамику индекса S&P 500 на протяжении года. Любой из опрошенных даст две цифры: минимум и максимум; вероятность выхода индекса из этих границ они оценят в 10 % в ту и в другую сторону. Таким образом, два полученных нами показателя ограничивают ценовой интервал, в котором значение индекса будет находиться с вероятностью 80 %. Однако в реальности фактическое значение индекса проведет в данном интервале не более 36 % времени. Получается, что финансовые директора слишком самоуверенны в своих прогнозах.

Профессиональные аналитики также производят шум. Прочитав «Принципы прогнозирования» Дж. Скотта Армстронга, мы увидим, что даже в среде экспертов «ненадежность аналитика является источником268 ошибок в прогнозных суждениях». По сути же фактической причиной ошибок является шум, и в первую очередь шум ситуативный. Аналитик не всегда может прийти к внутреннему консенсусу. Влияние межэкспертного шума также велико: прогнозисты далеко не всегда соглашаются с коллегами, хотя все они – профессионалы в своем деле. Попроси`те профессоров юриспруденции спрогнозировать, как Верховный суд разрешит тот или иной вопрос права269, и в их мнениях обнаружится большое количество шума. Предложи`те специалистам определить количественные выгоды применения законодательства о загрязнении воздуха270 – и здесь вы столкнетесь с широким разбросом оценок в диапазоне от 3 до 9 миллиардов долларов США. Не меньшая вариативность выявится и в прогнозах группы экономистов по поводу уровня безработицы и экономического роста. Мы приводили множество примеров271 «зашумленных» прогнозов, а дополнительные исследования выявляют еще больше шума.

Улучшение качества прогнозов

Исследователи предлагают различные варианты стратегий снижения шума и смещения. Мы не будем приводить на страницах книги глубокий анализ, сосредоточившись в основном на двух методах, получивших широкое распространение. О первом из них – принципе «лучший судья – лучшее решение» – мы уже рассказывали в главе 18. Второй метод является одной из универсальных стратегий гигиены принятия решений: агрегирование (обобщение) множества независимых суждений.

Проще всего обобщить несколько прогнозов, вычислив их среднее значение. Усреднение с точки зрения математики гарантирует снижение шумового фона. В данном случае мы говорим об извлечении квадратного корня из общей суммы усредняемых суждений. Подобное действие означает, что, усреднив сотню суждений, мы снизим шум на 90 %, а если в выборку входит четыреста суждений, шум снизится уже на 95 %, то есть будет фактически подавлен. Данная статистическая закономерность является движущей силой подхода «мудрость толпы», который мы обсудили в главе 7.

Вычисление средней величины само по себе не снизит смещение. Влияние данного метода на общую погрешность (среднеквадратическую ошибку) зависит от конкретных пропорций шума и смещения в такой ошибке. Именно поэтому принцип «мудрости толпы» лучше всего срабатывает, когда имеешь дело с рядом независимых суждений, с меньшей вероятностью подверженных коллективному искажению. Эмпирически доказано, что усреднение большого числа прогнозов272 существенно повышает точность итогового результата. Например, так формируется консенсус-прогноз аналитиков фондового рынка. Будь то прогноз объема продаж, прогноз погоды или экономический анализ: невзвешенная средняя величина некоторого количества мнений превосходит в точности большинство273, а иногда и все индивидуальные прогнозы. Различные методы усреднения дают один и тот же результат: эмпирическое сравнение данных в тридцати различных областях позволило установить, что комбинированный прогноз снижает вероятность ошибки в среднем на 12,5 %274.

Простое нахождение среднего арифметического – не единственный способ обобщить значения прогнозов. Стратегия направленного выбора человека из толпы275 позволяет выделить лучших экспертов, руководствуясь точностью их недавних суждений, и найти среднее значение суждения небольшого коллектива (например, пяти человек). Подобный метод не менее эффективен, чем простое среднее арифметическое. Если человек, отвечающий за принятие решения, предпочитает полагаться на мнение компетентных судей, ему будет легче понять и принять стратегию, опирающуюся не только на обобщение мнений, но и на выбор лиц, их генерирующих.

Одним из методов подготовки обобщенного прогноза стало использование виртуальных рынков предсказаний – сообществ людей, заключающих пари на вероятный исход того или иного события, что дает им стимул для вынесения верной оценки. В основном такие объединения достаточно эффективны276: если рынок предсказаний полагает, что событие произойдет с вероятностью 70 %, то примерно в семидесяти случаях из ста оно действительно происходит. Многие компании различных отраслей промышленности пользуются информацией, поступающей с рынка предсказаний277 для обобщения различных точек зрения.

Другим общепринятым подходом обобщения некоторого множества взглядов стал известный метод «Дельфи»278. В классическом понимании данный способ подразумевает несколько этапов, в ходе которых участники анонимно направляют свои оценки (либо результаты голосования) организаторам. На каждом новом этапе участники (по-прежнему анонимно) предоставляют обоснования своих оценок и рассматривают точки зрения других экспертов. Метод дает возможность сузить расхождение