Шум. Несовершенство человеческих суждений - Оливье Сибони

class="p1">В контексте данной книги не следует смешивать термины «суждение» и «мышление». Суждение – понятие более узкое и является формой измерения, инструментом для которого служит человеческий разум. Подобно иным методам измерения, суждение дает оценку объекту, однако данная оценка необязательно выражается количественно. «У Мэри Джонсон, вероятно, доброкачественная опухоль». Это суждение, равно как и утверждения вроде «национальная экономика крайне нестабильна», «Фред Уильямс – лучшая кандидатура на должность нового менеджера» или «страховая премия для покрытия риска составит 12 000 долларов». Для вынесения суждения мы соединяем в уме различные фрагменты информации, получая на выходе итоговую оценку. Это не вычислительный метод, и точных правил для вынесения суждения не существует. Учитель формулирует суждение, выставляя отметку за эссе, однако при оценке многовариантных тестов использует иные методы.

Многие люди зарабатывают на жизнь вынесением профессиональных суждений, которые сказываются на нас с вами. Кто такие «профессиональные судьи»? Это, например, футбольные арбитры и кардиологи, юристы и инженеры, голливудские продюсеры и оценщики страховых рисков. Мы уделили большое внимание профессиональным судьям на страницах данной книги, во‑первых, потому, что их деятельность хорошо изучена, во‑вторых, каждый из таких экспертов оказывает на нас огромное влияние. Полагаем, что ту информацию, которую мы привели на страницах книги, вполне можно использовать для изучения суждений в самых разных сферах нашей жизни.

Некоторые суждения носят предиктивный характер, и порой в их точности можно удостовериться. Рано или поздно мы поймем, насколько они точны. В основном это касается краткосрочных прогнозов – например, относительно действия лекарственных препаратов, течения пандемии или итогов выборной кампании. Однако многие суждения, в том числе долгосрочные прогнозы и ответы на теоретические вопросы, проверке не поддаются. Качество подобных суждений можно оценить, лишь составив мнение о качестве мыслительных процессов, которые и привели к итоговому суждению. Более того, многие суждения носят не предиктивный, а оценочный характер: приговор, вынесенный судьей, или оценку картины, представленной на конкурс, не так легко сопоставить с истинным значением.

Поразительно, но люди, выносящие суждения, ведут себя так, словно существует эталон, с которым можно сравнить их оценку, даже если никакого эталона нет. Они мыслят и действуют так, будто перед ними невидимое «яблочко» мишени, по которому невозможно промахнуться. Говоря о субъективной оценке, мы подразумеваем одновременно и возможность несогласия, и ожидание ее ограниченного характера. Таким образом, любое суждение характеризуется ожиданием ограниченных разногласий, занимая промежуточное место между оценкой, полученной путем вычисления, когда несогласие не допускается, и мнением, о котором мы скажем: «дело вкуса». Последнее почти не предполагает согласия – разве только в исключительных случаях.

Ошибки: смещение и шумовые помехи

Мы говорили, что смещение возникает в тех случаях, когда ошибки в некотором количестве суждений совершаются в одном и том же направлении. Смещение – это «средняя погрешность», как, например, в эпизоде со стрелкáми, регулярно попадающими в область ниже и левее цели. Подобная «средняя погрешность» может возникать при слишком оптимистическом общем годовом прогнозе продаж или в случае, когда компания продолжает реинвестировать деньги в уже несостоятельный проект, тогда как вложения давно следует списать на убытки.

Устранение смещения из множества суждений не приведет к полному устранению ошибок, и те ошибки, которые останутся, не будут смещены в одном направлении. Они свидетельствуют о нежелательном расхождении мнений и ненадежности инструментов измерения, применяемых к реальности. Они-то и называются шумом. Шум – это вариативность суждений, которые в идеале должны быть идентичными. Мы также используем термин системный шум для определения помех, отмеченных в компаниях, которые нанимают взаимозаменяемых специалистов для принятия решений: врачей в пунктах экстренной помощи, судей, выносящих приговор преступникам, и оценщиков рисков в страховой компании. Существенная часть данной книги посвящена системному шуму.

Измерение смещения и шума

Среднеквадратическая ошибка (MSE) уже на протяжении двух столетий является стандартом точности в научных методиках измерения. Основные свойства MSE заключаются в том, что она дает нам выборочное среднее значение в виде непредвзятой оценки математического среднего, в равной степени воспринимает погрешность в обе стороны от среднего значения и непропорционально наказывает большие ошибки. MSE не отразит реальную цену ошибки в суждении, так как она нередко имеет асимметричный характер. В то же время решения в профессиональной сфере всегда требуют точного прогноза. Если на город надвигается ураган, цена недооценки и переоценки опасности явно несоизмерима, однако вы не захотите, чтобы подобные отклонения повлияли на прогноз метеорологов относительно скорости и направления ветра. MSE служит подходящим стандартом для вынесения предиктивного суждения, когда целью является объективная точность.

По итогам оценки методом среднеквадратической ошибки смещение и шум, дополняя друг друга, являются независимыми источниками ошибки. Очевидно, что смещение ни к чему хорошему привести не может и снижение его уровня повышает точность. Однако интуиция не всегда подскажет нам, что шум опасен в равной степени и что его подавление всегда оптимизирует процессы. Оптимальной величиной разброса суждений станет «0» – даже в тех случаях, когда присутствует смещение. Разумеется, наша цель – снизить влияние как смещения, так и шума.

Смещение в некотором множестве поддающихся проверке суждений определяется разницей между средним значением суждений и соответствующим истинным значением. Подобная арифметика невозможна, если не существует способа проверить истинность суждений. Например, мы никогда не вычислим справедливый размер страховой премии, определенной андеррайтером по какому-либо риску. Точно так же мы далеко не всегда сумеем понять, насколько на самом деле справедлив приговор. Не располагая подобными возможностями, мы чаще всего допускаем, что смещение отсутствует, а среднее мнение нескольких судей максимально приближается к абсолютной истине. Удобнее всего (хотя и не всегда правильно) считать именно так.

Определить степень шума в системе позволяет ревизия шумовых помех – своеобразный эксперимент, в ходе которого несколько профессионалов выносят независимые суждения по одному и тому же вопросу (реальному или вымышленному). Для измерения уровня шума не требуются знания об истинных значениях. Примерно так же мы сможем оценить разброс точности стрелков, посмотрев на мишень с обратной стороны. Ревизия шумовых помех способна измерить степень вариативности суждений в самых разных системах – от рентгенологии до уголовного правосудия. Порой подобная ревизия обратит наше внимание на недостаточность специфических навыков и неэффективность обучения. Возможна и количественная оценка – например, в случае, когда андеррайтеры, работающие в команде, расходятся в прогнозе уровня риска.

Какая из проблем важнее – шум или смещение? Все зависит от конкретной ситуации. И все же, скорее всего, верным ответом станет «шум». Смещение и шумовые помехи вносят равный вклад в итоговую ошибку (MSE), когда среднее значение ошибки (смещение) равно стандартному отклонению (шуму). При нормальном распределении суждений (колоколообразная кривая)