Шум. Несовершенство человеческих суждений - Оливье Сибони

к выводу351 об огромной доле шума в оценках. В основном тревожные сигналы касаются метода «360 градусов», когда одного и того же работника по самым разным параметрам оценивают многочисленные эксперты. Не станем утверждать, что итоги подобных аттестаций обнадеживают. Исследования нередко говорят о том, что истинная дисперсия (то есть диапазон реальных оценок деловых качеств конкретного человека) составляет лишь от 20 до 30 % разброса оценок. Остальные 70–80 %352 являются системным шумом.

Откуда берется шум? Благодаря различным исследованиям353, посвященным дисперсии в оценках эффективности работы персонала, мы знаем, что в данном случае представлены все компоненты системного шума.

В контексте оценки деловых качеств каждый из них выделить несложно. Допустим, у нас два представителя аттестационной комиссии: Линн и Мэри. Линн снисходительная, а Мэри строгая (то есть Линн в среднем присваивает каждому аттестуемому более высокий балл); соответственно, здесь мы сталкиваемся с межэкспертным шумом. Как уже отмечалось при обсуждении судей, подобного рода шум может означать, что у Линн и Мэри действительно разное восприятие либо восприятие идентично, однако каждый из участников аттестационной комиссии по-своему использует шкалу оценки.

Итак, допустим, вас аттестует Линн. Она изначально невысокого мнения о вас, равно как и о вашем вкладе в работу компании. В таком случае ее обычная снисходительность компенсируется невольной негативной реакцией. Назовем подобную реакцию эксперта на конкретного работника стабильной моделью восприятия. Данная модель четко ассоциируется у Линн с вашей личностью и влияет на ее суждение, в чем мы и видим источник внутриэкспертного шума.

Допустим, что в течение рабочего дня Мэри сообщают: кто-то задел ее машину на служебной парковке. Заметим, что к этому моменту она еще не успела заполнить итоговый протокол оценки. Или предположим, Линн только что начислили весьма щедрую премию и она приступила к вашей аттестации в отличном расположении духа. Безусловно, каждое из этих событий генерирует ситуативный шум.

Сколько исследований – столько и мнений о разбивке системного шума на три указанных нами компонента (межэкспертный, внутриэкспертный и ситуативный). Пропорции варьируют в зависимости от того, за какой компанией мы наблюдаем, и мы вполне способны определить причины подобных вариаций. Так или иначе, каждая из разновидностей шума – явление нежелательное. Основная идея представляется довольно простой: оценка деловых качеств куда меньше отражает реальную эффективность работника, чем нам хотелось бы. В одном из аналитических обзоров мы прочтем следующее заключение: «Связь между реальной эффективностью профессиональной деятельности354 и ее оценкой чаще всего слаба или, по крайней мере, отличается неопределенностью».

Добавим, что существует множество причин, по которым итоговая оценка в конкретной организации не соответствует фактической эффективности аттестуемого работника355. Например, организация изначально не ставит перед собой задачи определения точных рейтингов, поскольку аттестация проводится исключительно для поддержания рабочего тонуса сотрудников356. Могут присутствовать и другие мотивы: эксперт намеренно завышает оценку, чтобы избежать последующего неприятного разговора с аттестуемым, либо стремится добавить баллов человеку, давно рассчитывающему на повышение по службе. Парадоксально, что высокая оценка может даже объясняться желанием оценивающего избавиться от неэффективного члена команды, способствуя его переводу в иное подразделение.

Приведенные в пример расчеты, безусловно, искажают итоговый рейтинг, однако не являются единственной причиной возникновения шумового фона. Об этом говорит и эксперимент, проведенный в естественных условиях: некоторые системы обратной связи, относящиеся к модели «360 градусов», используются исключительно в качестве стимулов развития. Респондентам сообщают, что оценка не будет использована для их аттестации. Если оценивающий верит подобному утверждению, то не станет ни завышать, ни занижать оценку. Выясняется, что в результате подобного подхода значительно меняется качество отзыва, и все же уровень системного шума остается высоким, обеспечивая больший разброс оценок, нежели предполагается реальной эффективностью оцениваемого работника. Даже в случаях отзывов сугубо в целях саморазвития357 в оценках по-прежнему присутствует много шума.

Старая проблема: в поисках решения

Если системы оценки эффективности работника настолько серьезно искажены, то люди, несущие ответственность за подобные тесты, должны заметить нарушения и принять меры к их исправлению. За последние несколько десятилетий действительно предпринимались попытки реформирования: организации внедряли стратегии снижения шума, о которых говорилось выше. Однако мы считаем, что работы еще непочатый край.

Методы обобщения используются практически в каждой компании и чаще всего ассоциируются с моделью «360 градусов», которая в 1990-х годах стала стандартной для крупных корпораций. (Журнал Human Resources Management опубликовал специальный выпуск, посвященный данной модели, еще в 1993 году.)

Следует отметить, что методы усреднения рейтингов, определенных разными экспертами, должны способствовать снижению шумового фона, однако модель «360 градусов» придумали для других целей. Ее основная задача – оценить больше факторов, чем видит невооруженным глазом босс корпорации. Когда коллеги и подчиненные добавляют свое видение к оценке вашей эффективности, меняется сама природа качеств, которые они оценивают. Теоретически подобный сдвиг является шагом вперед, поскольку суть современных подходов к работе заключается не только в удовлетворении требованиям босса. Рост популярности модели «360 градусов» совпал с развитием концепции гибкой, ориентированной на реализацию проектов организации.

Имеется ряд свидетельств, что модель «360 градусов» стала полезным инструментом, прогнозирующим объективно измеряемую358 эффективность работы. К сожалению, использование данной модели привело к некоторым проблемам. Всеобщая компьютеризация существенно облегчила добавление новых вопросов в подобные системы оценки. К тому же по мере усложнения корпоративных целей и правил разрастались и описания должностных функций, из-за чего многие формуляры для отзывов непомерно разбухли. Сегодня предостаточно анкет, перегруженных многочисленными вопросами359 (мы видели анкету, содержащую одиннадцать оценочных характеристик каждого работника: каждый подраздел состоял из сорока шести вопросов). Похоже, эксперту следует обладать сверхчеловеческими способностями, чтобы запомнить и учесть каждый значимый факт в отношении многих работников, оцениваемых по огромному количеству параметров. Описанный нами сложнейший подход не только бесполезен во многих отношениях; по сути, его влияние пагубно. Мы уже поняли, к чему приводит завышение оценки работника вследствие какой-либо преобладающей характеристики («эффект ореола»): некоторые независимые параметры измерения в итоге теряют свою независимость. Акцентированная положительная либо отрицательная оценка по первому же пункту вопросника задает тон при ответах на прочие вопросы анкеты.

Еще более важное соображение: развитие модели «360 градусов» в разы увеличило затраты времени на составление отзыва. Менеджера среднего звена могут попросить ответить на десятки анкет, посвященных характеристикам его коллег (начальников и подчиненных), а порой и работников из других компаний. Дело в том, что сегодня многие организации просят обратной связи от клиентов, поставщиков и иных партнеров по бизнесу. Намерение благое, однако подобный шквал требований, предъявляемых к экспертам, которые и так находятся в цейтноте, вряд ли даст основания ожидать качественной информации. В таком случае достигнутое