Шум. Несовершенство человеческих суждений - Оливье Сибони

мнений, требуя, чтобы новые суждения, формирующиеся участниками в следующем раунде, не выходили за диапазон, сложившийся по результатам раунда предыдущего. Метод «Дельфи» выигрывает за счет сочетания агрегирования с социальным научением.

Данная методика хорошо срабатывает во многих ситуациях, однако довольно сложна в реализации279. Существует упрощенная вариация – «Мини-Дельфи»280, предполагающая обработку мнений в течение единственной встречи экспертов. Эта версия также описывается формулой «оценка – обсуждение – повторная оценка». Основным ее требованием к участникам стало вынесение индивидуальной оценки (без предварительного обсуждения) с ее последующим объяснением и обоснованием. Второй этап заключается в модификации оценки на основе реакций и пояснений других участников. Консенсусом будет считаться среднее значение индивидуальных суждений, сложившихся в ходе второго раунда.

Проект «Верное суждение»

Некоторые наиболее инновационные исследования качества прогнозирования, выходящие за рамки рассказанного нами выше, начались в 2011 году, когда три выдающихся ученых-бихевиориста основали проект «Верное суждение». С Филипом Тетлоком мы уже познакомились в главе 11, обсуждая оценку долгосрочных прогнозов политических событий. Помимо Тетлока в группу вошла его супруга Барбара Меллерс, а также Дон Мур. Ученые поставили перед собой цель улучшить наше понимание природы прогнозирования и, в частности, причин появления хороших прогнозистов.

Проект «Верное суждение» начался с набора десятков тысяч добровольцев, не являющихся специалистами или экспертами, – самых обычных людей из самых разных слоев общества. Каждого из них попросили ответить на сотню примерно таких вопросов:

▣ Испытает ли Северная Корея ядерное оружие до конца текущего года?

▣ Аннексирует ли Россия какие-либо украинские территории в течение следующих трех месяцев?

▣ Станут ли Индия или Бразилия постоянными членами Совета Безопасности ООН в течение следующих двух лет?

▣ Выйдет ли в следующем году какая-либо страна из еврозоны?

Как видно из данных вопросов, проект сосредоточен на широком спектре мировых проблем. Важно отметить, что подобные вопросы отражают ту повестку, которая тревожит аналитиков во всем мире. Спросим адвоката: есть ли перспектива у его клиента выиграть дело в суде? Узнáем у специалистов телестудии, каковы шансы на популярность у нового телешоу. В обоих случаях нашему собеседнику потребуются аналитические способности. Тетлок с коллегами решили выяснить, действительно ли среди нас есть люди, которых можно считать особенно хорошими прогнозистами. Также ученые хотели понять, можно ли научить человека навыкам прогнозирования или хотя бы развить его врожденные способности.

Смысл основных выводов проекта станет ясен, если мы расскажем о некоторых ключевых особенностях метода, применяемого Тетлоком в целях оценки способностей к прогнозированию.

Во-первых, ученые собрали большое количество прогнозов, не ограничившись одним или несколькими, которым могла способствовать самая обычная удача либо, напротив, невезение. Если вы предсказали, что ваша любимая команда выиграет следующий матч и она действительно побеждает соперника – это еще не значит, что вы действительно хороший прогнозист. А если вы каждый раз даете прогноз в пользу любимой команды? Если ваша стратегия именно такова и команда побеждает в половине случаев, нельзя сказать, что ваши способности к прогнозу впечатляют. Следует отфильтровать фактор везения, поэтому исследователи и проверяют среднюю точность прогноза каждого участника эксперимента в пределах широкого спектра событий.

Во-вторых, ученые просят участников дать вероятностный прогноз, который не ограничивается ответом «случится» или «не случится». Для многих прогнозирование как раз и заключается в выборе одного из этих двух вариантов. В то же время, учитывая нашу объективную неосведомленность о наступлении событий в будущем, гораздо эффективнее формулировать вероятностные прогнозы.

Допустим, в 2016 году вы утверждали, что Хилари Клинтон с семидесятипроцентной вероятностью станет следующим президентом. Это не значит, что вы плохой прогнозист. Правильным станет следующий вывод: событие, которое сбудется в семидесяти случаях из ста, в тридцати случаях все же не произойдет. Если мы хотим знать, хорош ли прогнозист, нам потребуется выяснить, насколько его вероятностная оценка соответствует реальности. Предположим, условная Маргарет утверждает, что 500 различных событий произойдут с вероятностью 60 %. Если ее прогноз сбудется в отношении трехсот из них, придется сделать вывод, что вероятностное мышление Маргарет настроено вполне прилично. Подобная настройка – необходимое условие для хорошего аналитика.

В-третьих, отлаживая свой метод, Тетлок с коллегами не просто требовали от прогнозистов дать оценку вероятности наступления какого-либо события в течение, скажем, двенадцати месяцев. Ученые предоставили участникам возможность регулярно пересматривать свой прогноз в свете поступающей информации.

Предположим, в 2016 году вы спрогнозировали, что вероятность выхода Соединенного Королевства из Евросоюза до конца 2019 года составляет лишь 30 %. Идет время, мы получаем данные новых опросов, предполагающих, что движение за выход из Евросоюза набирает силу. Не исключено, что вы измените свою оценку в сторону повышения. Оглашается результат референдума, и он не добавляет ясности – действительно ли в Лондоне решат отделиться именно в обозначенный нами период. Однако вероятность все растет (кстати, технически Брексит состоялся в 2020 году).

По мере поступления новой информации Тетлок и его коллеги разрешали прогнозистам корректировать свои оценки. В целях составления рейтинга каждая корректировка приравнивалась к новому прогнозу. Таким образом, участников проекта «Верное суждение» побуждали внимательно следить за новостями и регулярно обновлять прогнозы. Подобный подход отражает требования к аналитикам в деловой среде и ожидания от прогнозов правительства. И те и другие обязаны достаточно часто обновлять свои оценки с учетом поступающих новостей и не должны обращать внимание на риск подвергнуться критике за перемену мнения. Кстати, отличным ответом на подобную критику служит заявление, приписываемое Джону Мейнарду Кейнсу: «Если изменяется фактическая обстановка, я меняю свое суждение. А как поступаете вы?»

В-четвертых, проект «Верное суждение» использовал для измерения эффективности прогнозистов систему, разработанную Гленном Брайером еще в 1950 году. Шкала Брайера определяет фактическую степень точности прогноза.

Упомянутая система представляет собой весьма разумный способ справиться с глобальной проблемой, присущей вероятностному прогнозу: обычно прогнозист подстраховывается, не пытаясь занять категоричную позицию. Вернемся к нашей Маргарет, которую мы посчитали умелым прогнозистом, предсказавшим шестидесятипроцентную вероятность наступления 500 событий, из которых 300 действительно случились. Подобный результат далеко не так внушителен, как нам представляется. Допустим, Маргарет стала синоптиком, постоянно оценивающим вероятность дождя в 60 %. Из 500 дней действительно выпадает 300 дождливых. Прогностическая способность Маргарет настроена неплохо, однако абсолютно бесполезна на практике. В сущности, она советует: «Каждый день, выходя из дому, на всякий случай берите с собой зонт». Сравним Маргарет с условным Николасом, который дает 300 абсолютно точных прогнозов: «Сегодня будет дождь», а еще 200 раз говорит: «Дождя не будет» и вновь не ошибается. Способности к прогнозу у Николаса отлажены не хуже, чем у Маргарет: любой из этой парочки предсказывает, что в Х% случаев пойдет дождь, и