Шум. Несовершенство человеческих суждений - Оливье Сибони

влияние шума и смещения будет тождественно, если 84 % суждений находятся выше (или ниже) точки истинного значения. Смещение в данном случае будет существенным, и в профессиональных областях это нередко бросается в глаза. Если же смещение будет меньше величины одного стандартного отклонения, основным источником итоговой ошибки следует признать шум.

Шум – серьезная проблема

Вариативность как таковая не является проблемой при вынесении некоторых видов суждений; более того, она даже приветствуется. Разнообразие мнений дает импульс для появления новых идей и вариантов, нестандартное мышление – важнейший ресурс для инновационных идей. Разброс мнений в среде кинокритиков говорит лишь о присущей этой сфере особенности, но никак не об ошибке. Противоположные точки зрения трейдеров двигают рынки. Различные подходы к стратегиям в группе конкурирующих молодых предприятий позволяют рынкам выбрать наиболее достойное из них. Что же касается вопросов суждения – в данном контексте системный шум всегда проблематичен. Если два доктора ставят вам разные диагнозы, как минимум один из них не прав.

К написанию данной книги нас побудили удивительно широкое распространение системного шума и причиняемый им вред. Все куда серьезнее, чем принято думать. Мы приводили примеры из многих областей профессиональной деятельности – из бизнеса и медицины, криминалистики и прогнозирования, оценки эффективности персонала и политики. Отсюда наш вывод: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

Огромная роль шума в совершаемых нами ошибках противоречит общему убеждению в том, что несистемные ошибки не имеют большого значения, если они взаимно уравновешивают друг друга. Это заблуждение! Бессмысленно заявлять, что пули, попавшие в разные сектора мишени, в среднем легли близко к «яблочку». Если один кандидат получил по итогам интервью завышенную оценку, а рейтинг другого, напротив, занизили – вы можете нанять не того человека, который вам требуется. Если завышен размер страховой премии по одному полису, а по другому, наоборот, занижен, обе ошибки дорого обойдутся страховой компании: одна заставит страховщика потерять свою долю рынка, вторая приведет к убыткам.

Подводя итог, скажем: если мнения разнятся без серьезных на то оснований, будьте уверены – в ваши рассуждения вкралась ошибка. Шум, безусловно, наносит вред и в тех случаях, когда истинность суждений не поддается проверке и ошибку невозможно вычислить. Несправедливо, когда к людям в одной и той же ситуации относятся по-разному. Система, внутри которой профессионалы не могут прийти к согласию, теряет доверие.

Разновидности шума

Системный шум разбивается на межэкспертную и внутриэкспертную составляющие. Некоторые судьи более суровы, чем их коллеги, другие более снисходительны; некоторые аналитики в основном придерживаются «бычьего» прогноза в отношении перспектив рынка, другие же чаще дают «медвежий»; кто-то из докторов гораздо чаще коллег выписывает антибиотики. Межэкспертный шум является вариативностью среднего суждения, выносимого разными лицами. Разные виды личной шкалы оценки – одна из причин межэкспертного шума. Определение «весьма вероятно» или оценка «4» по шестибалльной шкале для разных людей будут иметь разное значение. Межэкспертный шум является важнейшим источником ошибок в системах суждений и одной из приоритетных целей для мероприятий, направленных на снижение шума.

Системный шум включает в себя еще один компонент, который, как правило, встречается чаще других. Независимо от среднего значения своих суждений, судьи, отступая от личной средней модели, выделяют для себя виды преступлений, заслуживающих наиболее сурового приговора. Соответственно, их решения о вынесении приговора создают различные системы ранжирования. Подобную вариативность мы называем внутриэкспертным шумом (в статистике это зовется взаимодействием).

Главный источник внутриэкспертного шума исключительно стабилен и представляет собой разницу в уникальных личностных реакциях судей на определенные обстоятельства. В какой-то части подобные различия связаны с системой принципов или ценностей, которых придерживается (не всегда осознанно) человек. Например, один судья может крайне сурово относиться к магазинным воришкам и на удивление снисходительно – к нарушителям правил дорожного движения, а его коллега наоборот. Некоторые из этих исходных принципов и воззрений могут быть достаточно сложны для восприятия, и сам судья не всегда осознает движущие им мотивы. Например, судья безотчетно проявляет относительную мягкость, вынося приговор пожилому налетчику. Личная реакция на конкретный случай также может носить стабильный характер. Ответчица, напоминающая судье его собственную дочь, вполне способна заставить судью регулярно проявлять к ней сочувствие.

Стабильный внутриэкспертный шум говорит об уникальности каждого судьи: индивидуальна их личность, индивидуальна и реакция на определенные дела. Неуловимые различия между людьми – интересная и познавательная тема, однако подобные различия становятся критическими, когда профессионалы работают в системе, требующей согласованности. Те исследования, с которыми мы ознакомились, определяют стабильный внутриэкспертный шум, возникающий вследствие подобных индивидуальных различий, как главнейший источник системного шума.

И все же четко выраженное личное отношение судей к конкретным делам не может характеризоваться идеальной стабильностью. Внутриэкспертный шум включает в себя еще одну переменную, которую мы назвали ситуативным шумом. Данную разновидность шумовых помех мы обнаружим у рентгенолога, который в разные дни недели даст отличающиеся друг от друга описания одного и того же снимка, и у криминалиста, который сегодня отметит идентичность отпечатка пальца с контрольным образцом, а завтра заявит, что они не совпадают. Приведенные примеры показывают, что ситуативный шум легко выявляется, когда эксперт приходит к различным мнениям об одном и том же случае. Есть и другой пример, доказывающий, что ситуативный шум существует: судья будет более мягок после того, как его любимая футбольная команда накануне одержала победу, а врач прописывает больше опиоидов пациентам, приходящим на прием после обеда.

Психология суждений и влияние шума

Когнитивные изъяны – не единственная причина ошибок при вынесении экспертами прогнозных суждений. Более существенную роль часто играет объективная неосведомленность. Ответы на некоторые вопросы попросту не имеют обоснованных правильных ответов. Сколько внуков будет через семьдесят лет у человека, который родился вчера? Сможете назвать номер выигрышного билета лотереи, розыгрыш которой состоится в следующем году? Другие вопросы имеют четкие ответы, однако судье они могут быть неизвестны. Чрезмерная уверенность в сделанном прогнозе выливается в недооценку объективной неосведомленности и присущих человеку когнитивных искажений.

Существует предел точности прогнозов, и наши способности в этом смысле чаще всего серьезно ограничены. Тем не менее мы, как правило, вполне удовлетворены собственными суждениями. Подобное чувство внушает нам внутренний сигнал, сообщающий нам об удачной интеграции фактов в суждение. Субъективная уверенность в собственном суждении необязательно свидетельствует о его объективной точности.

Большинство людей удивится, услышав, что точность их прогностических суждений не просто низка, но еще и уступает механическому обобщенному прогнозу. Даже простейшие линейные модели, построенные на ограниченном объеме информации, или примитивное правило, которое