Шум. Несовершенство человеческих суждений - Оливье Сибони

примеров схемы Мила. Как мы заметили ранее, клинические прогнозы достигают корреляции 0,15 (ПС=55 %) при оценке эффективности работы кандидатов, а механические прогнозы – 0,32 (ПС=60 %). Вспомните, с какой уверенностью вы сравнивали оценки, полученные при тестировании Моники и Натали. Результаты Мила настойчиво указывают, что ваша удовлетворенность правотой своих суждений была иллюзией, а точнее, иллюзией достоверности.

Иллюзия достоверности присутствует в любых прогнозах и возникает вследствие распространенной ошибки, когда люди не различают два этапа задачи прогнозирования: количественные оценки на основании имеющихся в распоряжении фактов и прогнозирование реальных результатов. Зачастую вы можете быть абсолютно уверены в своем мнении, какой из кандидатов выглядит более достойным, однако догадаться, который из них действительно окажется лучшим – совершенно другое дело. Например, можно с уверенностью заявлять, что Натали выглядит более сильным кандидатом, чем Моника, однако никак нельзя утверждать, что Натали будет работать более успешно. Причина лежит на поверхности: вам известно достаточно много, чтобы дать оценку кандидатам, однако заглянуть в будущее вам не дано.

К сожалению, в нашем сознании граница размывается. Вы озадачены тем, что не видите разницу между количественной оценкой и прогнозированием? Поздравляем, вы в отличной компании: эту разницу не видит практически никто. А если вы уверены в своих прогнозах так же, как и в оценках, вы стали жертвой иллюзии достоверности.

От иллюзии достоверности не застрахованы и клиницисты. Можно с уверенностью представить себе реакцию психолога на выводы Мила о том, что тривиальные формулы, последовательно примененные, превосходят клинические оценки. Шок, недоверие, презрение к поверхностным исследованиям, авторы которых вздумали усомниться в чудесах клинической интуиции. Подобную реакцию легко понять: схема Мила противоречит субъективному восприятию, а большинство из нас скорее доверится собственному опыту, чем всяким наукообразным заявлениям.

Мил сам неоднозначно относился к своим выводам. Его имя ассоциируется с превосходством статистики над клиническими оценками, и можно представить Мила непреклонным критиком внезапных озарений или крестным отцом количественного анализа, как мы сказали бы сейчас. Однако этот образ был бы карикатурным. Мил, помимо своей академической карьеры, работал как практикующий психоаналитик. В его кабинете висел портрет Фрейда101. Он был энциклопедистом102; кроме психологического, получил философское и юридическое образование, писал статьи по метафизике, религии, политическим наукам и даже парапсихологии. (Мил настойчиво утверждал, что «в телепатии что-то есть».) Ни одно из этих человеческих качеств не соответствует стереотипу упертого бухгалтера. Мил ничего не имел против клиницистов – скорее наоборот. Однако когда он задался целью, доказательства преимуществ механического подхода к задаче были «массивными и последовательными».

«Массивными и последовательными»103 – это еще мягко сказано. Две тысячи статей 104 по результатам 136 исследований однозначно подтверждали превосходство механической агрегации над клиническими оценками. Исследования проводились в различных областях, включая диагностику гепатита, годность к военной службе и удовлетворенность в браке. Механическое прогнозирование оказалось более точным в 63 исследованиях, статистические закономерности наблюдалась еще в 65, а клинические прогнозы выиграли состязание в 8 случаях. При этом полученные результаты умаляли преимущества механического прогнозирования, которое к тому же является более быстрым и дешевым. Более того, оценки экспертов в большинстве исследований на самом деле имели несправедливое преимущество за счет доступа к «личной» информации105, не включенной в компьютерную модель. Выводы однозначно подтверждали: простая модель одерживает верх над человеком.

Голдберг: ваша модель одерживает над вами верх

Выводы Мила поднимают важные вопросы. Почему, собственно, формула побеждает? Что именно она делает лучше? Хотя по сути следовало бы задаться вопросом: а что именно люди делают хуже? Ответ прост – люди во многих отношениях слабее статистических моделей. И одна из критических слабостей состоит в том, что суждения людей подвержены влиянию шума.

Чтобы подтвердить этот вывод, обратимся к другому направлению в исследовании простых моделей, которое берет начало в городке Юджин, штат Орегон. Пол Хофман был состоятельным человеком и мудрым психологом, а еще не следовал установленным в науке правилам. Он основал научно-исследовательский институт, где собрал под одной крышей нескольких чрезвычайно эффективных ученых, превратив Юджин во всемирно известный центр изучения оценок и прогнозов.

Одним из этих исследователей был Льюис Голдберг, известность которому принесла ведущая роль в разработке модели личности, получившей название «Большой пятерки». В конце 1960-х годов106, развивая идеи ранних работ Хофмана, Голдберг изучал статистические модели, описывающие суждения людей.

Построить «модель эксперта» почти так же просто, как и любую отражающую реальность модель. Используются те же прогностические факторы. В нашем исходном примере это пять рейтингов менеджеров. Используется тот же инструмент – множественная регрессия. Вот только целевая переменная другая. Вместо прогнозирования реальных результатов работы формула применяется к прогнозированию оценочных суждений – к примеру, ваши оценки Моники, Натали и других менеджеров.

Сама идея моделирования ваших суждений как расчета средневзвешенной величины может показаться весьма странной. Разве так формируется ваше мнение? Когда вы думаете – в клиническом смысле – о Монике и Натали, вы не применяете к каждой из них одно и то же правило. Более того, вы вообще не применяете никаких правил. «Модель эксперта» не является реалистичным описанием вашего мыслительного процесса.

Однако, даже если вы ничего не вычисляете по линейной формуле, вы можете давать свои оценки, как если бы занимались вычислениями. Опытные игроки в бильярд бьют по шару так, словно решают в уме сложные уравнения107, описывающие механику каждого отдельного удара. Подобно им и вы можете выдавать прогнозы, будто пользуетесь простой формулой – хотя на деле решаете намного более сложные задачи. Условная модель, построенная по принципу «если бы», которая с приемлемой точностью прогнозирует, что станут делать люди, вполне пригодна, даже когда она явно не подходит в качестве описания процесса. Это довод в пользу простых моделей. Комплексный обзор исследований выявил, что в 237 случаях средняя корреляция между «моделью эксперта» и клиническими оценками составила 0,8 (ПС=79 %). Пусть не идеальный, однако довольно высокий результат108 в поддержку условной модели.

Вопрос, который побудил Голдберга заняться исследованиями, звучал так: насколько хорошо простая «модель эксперта» может прогнозировать реальные результаты? Поскольку модель является грубой аппроксимацией человека, было бы разумно допустить, что не очень хорошо. А много ли мы теряем в точности, когда модель заменяет человека?

Ответ может вас удивить. Прогнозы не стали менее точными, когда их генерировала модель. Наоборот, точность повысилась. В большинстве случаев модель обошла профессионалов, работу которых имитировала. Эрзац оказался лучше оригинального продукта.

Этот вывод был подтвержден исследованиями в различных сферах. Первые повторения109 опытов Голдберга включали в себя прогнозы успехов выпускников средних школ. Исследователи дали задание 98 участникам спрогнозировать средний балл