Шум. Несовершенство человеческих суждений - Оливье Сибони

особенно предрасположен к агрессии, когда его критикуют, и проявляет редкую выдержку, если ему угрожают физически185.

Эти шаблоны реагирования на ситуацию чаще всего остаются постоянными на протяжении долгого времени. Они во многом и составляют то, что мы и называем личностью человека, хотя и не годятся для описания в соответствии с пятью факторами. Эндрю и Брэд могут получить одинаковое количество баллов в тесте на агрессию, однако они уникальны в своих реакциях на обстоятельства и триггеры агрессии. Поведение двух человек, которые имеют одинаковый уровень по одному из факторов – например, одинаково упрямы или одинаково щедры, – может быть представлено двумя функциями распределения, имеющими одинаковое среднее значение, но необязательно одинаковые шаблоны реагирования на различные ситуации.

Теперь можно проследить параллель между изучением личности и моделью оценок, которую мы обозначили ранее. Межэкспертные различия соответствуют различиям в баллах по определенным факторам (средняя реакция, вычисленная для большого количества ситуаций). «Дела» (в частности, судебные) аналогичны ситуациям. Оценочное суждение по конкретной проблеме лишь умеренно предсказуемо по среднему уровню оценок этого человека, равно как и специфичное поведение умеренно предсказуемо по любому из пяти факторов. Ранжирование людей по их оценкам существенно разнится от дела к делу, потому что различна их реакция на определенные обстоятельства и совокупности обстоятельств, которые они видят в каждом случае. Характерные черты человека, который выносит оценки и принимает решения, определяют уникальную реакцию на обстоятельства и соответственно уникальное суждение по делу.

Наличие в характере уникальных черт – обычно повод для поздравления, однако наша книга посвящена профессиональным оценкам, где всяческие вариации проблематичны, а шум приводит к ошибкам. Суть представленной аналогии в том, что внутриэкспертный шум в оценках не является случайным – даже если у нас мало надежды объяснить его и даже если его не могут объяснить сами эксперты, выносящие нестандартные суждения.

К разговору о внутриэкспертном шуме

«Судя по всему, вы уверены в своих выводах, однако проблема не так проста: ключевые зацепки указывают в разных направлениях. Возможно, вы проигнорировали альтернативную интерпретацию фактов?»

«Мы с вами провели собеседование с одним и тем же кандидатом; как правило, мы предъявляем к соискателям одинаковые требования. Однако наши оценки диаметрально противоположны. В чем же причина внутриэкспертного шума?»

«Уникальность личности дает нам способность принимать новаторские решения, выдвигать творческие идеи, да и просто радоваться жизни и заражать других своей энергией. Но когда дело касается суждений, наша уникальность не идет нам на пользу».

Глава 17

Источники шума

Мы надеемся, вы уже не сомневаетесь, что там, где есть место суждению, найдется и шум. Мы также надеемся, что у вас его теперь не больше, чем вы думаете. Мантра о шумовых помехах вдохновила нас начать этот проект, однако за много лет работы тема значительно расширилась. Давайте повторим основные усвоенные уроки в отношении различных компонентов шума – о важности каждого из них в общем шумовом фоне и о месте шума в исследовании суждений.

Компоненты шума

На рисунке 16 схематично представлены три уравнения, рассмотренные в главах 5, 6 и 16, которые иллюстрируют три последовательных этапа разделения ошибок на компоненты:

• разбивка ошибок на смещение и системный шум;

• разбивка системного шума на межэкспертный и внутриэкспертный шум;

• разбивка внутриэкспертного шума на постоянный и ситуативный.

На рисунке показано, что MSE разлагается на186 квадрат искажений и квадраты трех компонентов шума, рассмотренных ранее.

Рис. 16. Ошибки, искажения и компоненты шума

Начиная наши исследования, мы сосредоточились на относительных весах смещения и шумовых помех в составе ошибок. Мы также пришли к выводу, что доля шума в составе ошибок зачастую больше, чем доля смещения, и потому шум заслуживает более детального изучения.

Что касается компонентов шума, мы с самого начала руководствовались структурой комплексной ревизии шумовых помех, когда множество людей давали индивидуальные оценки по многим делам – например, при вынесении приговоров федеральными судьями или назначении суммы компенсации морального ущерба. Полученные в ходе этих исследований данные позволили дать комплексное обоснование межэкспертному шуму. С другой стороны, поскольку каждый участник эксперимента давал оценку каждому случаю, но только один раз, нельзя было сказать, являются ли постоянными или временными остаточные ошибки, которые мы назвали внутриэкспертными. При статистическом анализе (понимая его в консервативном смысле) остаточным ошибкам обычно дают некорректное название и трактуют как случайные. Другими словами, по умолчанию весь внутриэкспертный шум относят к ситуативным шумовым помехам.

Традиционная интерпретация внутриэкспертного шума как случайных ошибок долгое время препятствовала дальнейшему развитию нашей идеи. Казалось совершенно естественным сосредоточиться на межэкспертном шуме – стойком различии между строгими и снисходительными судьями или оптимистичными и пессимистичными прогнозистами. Однако нас также заинтриговал сам факт воздействия на оценки не относящихся к делу и временных обстоятельств, которые создавали ситуативные шумовые помехи.

Факты постепенно подводили нас к пониманию – «шумные» суждения, которые дают различные люди, в значительной степени зависят от чего-то еще, что нельзя отнести на счет необъективности конкретного человека и что также не является временным и случайным, а представляет собой стойкую персональную реакцию на множество факторов, определяющую действия индивидуума в отдельных случаях. В конечном счете мы пришли к выводу, что от нашего сделанного по умолчанию допущения о временной природе внутриэкспертного шума следует отказаться.

Хотя мы старались быть осторожными и не переусердствовать в генерализации на весьма ограниченной выборке, совокупные результаты большого числа исследований все же наводят на мысль, что постоянный внутриэкспертный шум и в самом деле более значим, чем прочие компоненты системного шума. Поскольку полная картина компонентов ошибок нечасто присутствовала в одном и том же исследовании, потребовалось несколько триангуляций, чтобы сформулировать предварительное заключение. Итак, перед вами то, что мы знаем – и чего не знаем.

Систематизация компонентов шума

Прежде всего, нам удалось определить относительный вес межэкспертного и внутриэкспертного шумов. В общем выяснилось, что внутриэкспертный шум вносит больший вклад в общую сумму помех, чем межэкспертный. Например, в страховой компании (см. главу 2) отклонения от средней суммы страховых премий, назначенных разными андеррайтерами, составляли всего 20 % от системного шума в целом; оставшиеся 80 % приходились на внутриэкспертный шум. А среди федеральных судей (см. главу 6) межэкспертный шум (отклонения от средней строгости) составлял немногим меньше половины системного шума в целом; внутриэкспертный шум оказался более значительным компонентом. В эксперименте с назначением компенсации морального ущерба общее количество системного шума варьировалось в широких пределах в зависимости от используемой шкалы (мера