Шум. Несовершенство человеческих суждений - Оливье Сибони

участников группы анализировать мнения оппонентов и стимулируя развитие активного открытого мышления.

3. Отбор: каждый из прогнозистов получал балл за точность прогноза, и через год исследователи выбрали 2 % лучших суперпредсказателей. В течение следующего года они уже работали совместно в особых элитных группах.

В итоге выяснилось, что каждая из трех стратегий по-своему результативна. Как минимум участники всех трех групп продвинулись по шкале Брайера. Обучение позволило добиться разницы по сравнению с ранее достигнутым уровнем, командная работа эту разницу увеличила, а отбор дал еще больший эффект.

Ценные результаты, полученные в процессе исследования, подтвердили значимость метода обобщения суждений и выбора лучших судей. Однако на этом история не закончилась. Опираясь на информацию об эффекте каждой из стратегий, Вилле Сатопаа, ранее сотрудничавший с Тетлоком и Меллерс, разработал сложный статистический метод284, позволяющий выяснить, как именно каждый из трех подходов влиял на улучшение качества суждений. В принципе, рассуждал он, существуют три основные причины, по которым некоторые прогнозисты отличаются от своих коллег в лучшую или худшую сторону:

1. Хороший прогнозист имеет отличные навыки поиска и анализа информации из внешней среды, представляющей ценный источник для формирования прогноза. Стало быть, здесь мы говорим о важности информации.

2. Некоторые прогнозисты проявляют общую склонность к ошибкам в определенных аспектах достоверности прогноза. Если прогнозист сделает сотню прогнозов и в каждом из них допустит системную ошибку в части недооценки или переоценки возможности некоторых изменений статус-кво, мы, в зависимости от направления его ошибок, скажем, что на данного специалиста оказывает влияние определенная форма когнитивного искажения.

3. Некоторые прогнозисты менее подвержены воздействию шума (реже допускают случайные ошибки). В области прогнозирования, как и при вынесении любого иного суждения, существуют многочисленные механизмы, запускающие шумовой фон. Прогнозисты могут проявлять чрезмерную реакцию на какую-либо новость (это и есть пример внутриэкспертного шума), могут быть подвержены и влиянию шума ситуативного. При работе со шкалой вероятностей на таких специалистов могут воздействовать шумовые помехи. Направление и масштаб каждой ошибки (а мы перечислили лишь некоторые из них) непредсказуемы.

Сатопаа, Тетлок, Меллерс и их коллега Марат Салихов выделили для себя три основных компонента, присущих прогнозированию: искажение, информацию и шум. Перед исследователями стояла задача: измерить, как ведут себя данные компоненты при оптимизации эффективности в разрезе каждой из трех стратегий. Модель получила название «BIN».

Ответ оказался простым: каждая из трех стратегий в первую очередь работала на снижение шума. Ученые отметили: «В тех случаях, когда применяемые меры285 улучшали точность, их эффект складывался в основном за счет нейтрализации возможности случайных ошибок в суждениях. Любопытно, что изначальной целью стратегии обучения было уменьшить смещение».

Итак, поскольку обучающий метод был нацелен на искажения, прогнозист средних способностей предсказал бы, что основным достижением примененного подхода станет уменьшение смещения, и оказался бы не прав: тренинги уменьшили шум. Неожиданный поворот вполне объясним. Обучающий метод Тетлока был направлен на нейтрализацию психологических искажений, которые, как мы уже знаем, не всегда приводят к статистическому смещению. Допустим, разные люди в ходе дискуссии выносят разные суждения, прибегая к различным подходам. В каждом случае срабатывают психологические искажения, внося шум в итоговый результат. Подобный эффект мы наблюдаем и здесь, поскольку прогнозируемые события крайне разнообразны. В зависимости от темы искажения заставляют аналитика недооценивать или переоценивать вероятность. Статистического смещения, которое стабильно заставляет прогнозиста полагать, что определенные события наверняка произойдут (или, напротив, не произойдут), в данном случае ожидать не приходится. В результате обучение прогнозистов методам борьбы с психологическими искажениями как раз и приводит к снижению шума.

Метод командной работы лучше подавляет шум, нежели метод обучения и в то же время значительно улучшает способность команды извлекать необходимую для суждения информацию. Результат в данном случае согласуется с логикой метода обобщения: коллективный мозговой штурм дает больше возможностей для обнаружения значимых данных, чем работа в одиночку. Допустим, условные Элис и Брайан работают в команде, и Элис замечает сигнал, пропущенный напарником. В итоге их совместный прогноз окажется лучше. Судя по всему, при работе в группе суперпредсказателям удается избегать риска групповой поляризации и влияния информационных каскадов. Напротив, они обобщают интуитивные догадки и добытые каждым из них данные, извлекая максимум из имеющейся информации за счет применения активного открытого мышления. Сатопаа и его коллеги объясняют данный эффект так: «Командная работа, в отличие от обучения…286 позволяет прогнозистам не идти на поводу у информации».

Оптимальный итоговый результат показал метод отбора. Частично его успех объясняется более умелым использованием информации. Суперпредсказатели лучше среднестатистических участников эксперимента владеют методами поиска значимых данных – либо за счет более острого ума, либо более сильной мотивации и богатого опыта в формировании прогнозов требуемого типа. Повторим: основным достижением метода отбора стало снижение шумового фона. Суперпредсказатели, в отличие от среднего прогнозиста или даже обученной команды, действительно производят меньше шума. Данный вывод также стал откровением для Сатопаа и других исследователей: «Суперпредсказатели, вероятно, обязаны своим успехом287 более жесткой фильтрации возможных погрешностей оценки, нежели более внимательному чтению новостей». Очевидно, их среднестатистический коллега на такое не способен.

В каких случаях срабатывают методы отбора и обобщения

Успех проекта по выявлению суперпредсказателей подчеркивает значение двух стратегий гигиены принятия решений: стратегии отбора (суперпредсказатели действительно по праву носят приставку «супер») и стратегии обобщения (работая в команде, прогнозисты действуют более эффективно). Обе стратегии широко применяются для вынесения суждений самого разного характера. Если ситуация позволяет, стратегии следует сочетать, создавая команды судей (в сферах прогнозирования, инвестиций или работы с персоналом), отобранных не только по принципу профессионализма, но и с учетом взаимодополняемости.

До сих пор мы обсуждали способы повышения точности, достигаемой усреднением множества независимых суждений, как, например, в случае экспериментов с концепцией «мудрости толпы». Агрегирование оценок экспертов высокой квалификации еще более способствует улучшению точности суждения. Дополнительного эффекта можно также добиться, сочетая оценку экспертов, которые будут работать автономно и в то же время смогут дополнять друг друга288. Представьте себе ситуацию, когда четыре человека стали свидетелями преступления. Важно, конечно, не допустить взаимного влияния их показаний. При этом качество информации, которую они вам дадут, будет гораздо лучше, если они наблюдали за происшествием с четырех разных сторон.

Задача создания команды профессионалов, которой предстоит вынести суждение, подобна отбору комбинации тестов, способных спрогнозировать результаты деятельности ваших кандидатов (что в учебном процессе, что в профессиональной сфере). Стандартным инструментом решения такой задачи считается метод множественной регрессии, введенный нами в главе 9. Метод работает путем последовательного отбора переменных. Первым выбирается тест, показавший наилучший прогнозный результат. Однако второе место в вашем арсенале необязательно займет тест со