Шум. Несовершенство человеческих суждений - Оливье Сибони

снижение шумового фона не стоит затраченных усилий, что мы и обсудим в шестой части нашей книги.

И наконец, модель «360 градусов» не располагает защитой от общей болезни всех систем оценки: постепенной инфляции рейтингов. Одна из крупных промышленных компаний указала, что 98 %360 ее менеджеров получили оценку «полностью удовлетворяет ожиданиям». Если почти каждому присваивается наивысший балл, напрашивается вопрос: какова ценность подобных рейтингов?

Аргументы в пользу суждений относительного характера

Теоретически эффективным решением проблемы инфляции рейтингов может стать их стандартизация. Одна из популярных практик в этом плане – принудительное ранжирование361. В рамках данной системы оценивающего не только ограничивают в возможности поставить аттестуемому завышенный балл, но и заставляют действовать в пределах заданного распределения оценок. Систему принудительного ранжирования горячо поддерживал Джек Уэлч в бытность руководителем General Electric, считая ее способом устранения инфляции рейтингов и гарантией «честной» аттестации. Многие компании взяли методику ранжирования на вооружение, однако впоследствии были вынуждены от нее отказаться, указав на ее нежелательное воздействие на моральное состояние коллектива и командную работу.

Каковы бы ни были недостатки методики, отметим, что ранжирование содержит меньше изъянов, нежели индивидуальные рейтинги. В примере с компенсацией морального ущерба мы наблюдали, что суждения относительные содержат меньше шума, чем абсолютные, и данная закономерность также прослеживается в оценке деловых качеств работников362.

Рис. 17363. Примеры абсолютной и относительной шкалы оценки

Причины подобной разницы мы поймем, посмотрев на рисунок 17, представляющий нашему вниманию два примера шкалы оценки работников. В секции А служащий оценивается по шкале оценок в абсолютном выражении. Здесь от оценивающего требуется выполнить процедуру, которую мы называем «совмещением»: необходимо найти то значение, которое наиболее полно соответствует вашим впечатлениям от качества работы подчиненного. В секции Б, напротив, требуется сравнить вашего сотрудника с группой его коллег по одному параметру (в данном случае по надежности). Руководителя просят определить ранг сотрудника (или дать оценку в процентном выражении) в коллективе, используя процентильную шкалу. Мы видим, что начальник оценил по данной шкале трех подчиненных.

Подход, представленный в секции Б, имеет два преимущества. Во-первых, одновременное ранжирование всех сотрудников по одному критерию служит примером стратегии снижения шума, которую мы более подробно обсудим в следующей главе. Мы говорим о делении комплексного суждения на несколько элементов. Подобное структурирование представляет собой попытку ограничить влияние эффекта ореола, за счет которого баллы, присвоенные работнику по разным параметрам, колеблются в пределах узкой зоны значений. Разумеется, подобное структурирование работает лишь в случаях выполнения ранжирования отдельно по каждому критерию, как и указано в нашем примере. В случаях, когда ранжирование производят на основе неверно определенного общего суждения «о качестве работы», снизить влияние эффекта ореола не получится.

Во-вторых, как мы уже говорили в главе 15, ранжирование снижает воздействие и внутриэкспертного, и межэкспертного шума. Вероятность ошибки сильно уменьшится, если вы сравните эффективность двух членов вашей команды, и возрастет, если вы попытаетесь оценить каждого по отдельности. В данном случае важно отметить, что ранжирование механически устраняет межэкспертный шум. Если Линн и Мэри оценивают одну и ту же группу из двадцати работников (учитывая, что Линн снисходительнее своей коллеги), то средний индивидуальный рейтинг, определенный нашими дамами, будет отличаться, а вот средний результат ранжирования – нет. Что снисходительный, что строгий эксперт – в данном случае оба используют один и тот же подход.

Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок. Ранжирование носит принудительный характер в случаях, когда распределение оценок строится на обязательном условии. Например, стандарты компании предусматривают, что не более 20 % работников может попасть в высшую категорию и не менее 15 % – в низшую.

Ранжируем без принуждения

В принципе принудительное ранжирование должно привнести долгожданные улучшения в систему оценки, и все же нередко подобная стратегия терпит крах. Мы не ставим перед собой задачу провести анализ всех возможных нежелательных эффектов (которые частенько больше связаны со слабым качеством исполнения, чем с самой концепцией). И все же выделим два нюанса, которые послужат нам уроком.

Первый из них – смешение оценки эффективности в абсолютном и относительном выражении. Разумеется, 98 % всех менеджеров компании не могут попасть в группу лучших работников, если она по условиям задачи составляет не более 20 % от общей численности (или 50 %, или даже 80 %). С другой стороны, каждый из них вполне может «соответствовать ожиданиям», если подобные ожидания определены предварительно, причем в абсолютном выражении.

Многие руководители не согласятся с утверждением, что практически все сотрудники соответствуют ожиданиям. Если подобное происходит, говорят они, значит, ожидания занижены – вероятно, по причине царящей в компании самоуспокоенности. Призна́ем, что подобная трактовка имеет право на жизнь, однако возможно и другое: большинство работников действительно удовлетворяют высоким требованиям. В самом деле, именно такого результата мы и ожидаем от действительно эффективной компании. Вряд ли вы с усмешкой заметите, что руководство NASA снисходительно подходит к процедурам оценки эффективности, если вам скажут, что все космонавты, вернувшиеся из успешного полета в космос, полностью соответствовали ожиданиям.

Каков же наш вывод? Система, полагающаяся на относительные оценки, адекватна лишь при условии, что компания действительно заинтересована в относительной оценке эффективности труда. Например, относительная оценка имеет смысл в том случае, когда, независимо от абсолютных показателей эффективности персонала, лишь определенный процент работников может получить повышение по службе. Однако принудительное внедрение относительного ранжирования в ситуациях, подразумевающих измерение абсолютного уровня эффективности, является совершенно нелогичным. Введение обязательного требования о доле работников, не соответствующих ожиданиям абсолютного характера, не просто жестоко; подобное требование абсурдно. Разве не глупо прозвучит заявление, что 10 % состава элитного армейского подразделения следует определить в категорию «неудовлетворительно»?

Еще одна проблема заключается в том, что принудительное распределение оценок подразумевает отражение истинной эффективности, и, в общем случае, подобный подход близок к нормальному распределению. В то же время, если даже распределение оценок эффективности в пределах группы примерно известно, аналогичное распределение не сработает, если состав группы сузить. Допустим, вы произвольно выбрали десять человек из нескольких тысяч. Нет никаких гарантий, что двое из них окажутся в элите, составляющей по условиям задачи 20 % от общего количества. «Нет гарантий» – это еще мягко сказано: вероятность, что вы попадете в точку, составляет всего лишь 30 %. На практике все еще хуже, ибо в одних подразделениях служат исключительно эффективные работники, в других же могут оказаться сплошь нерадивые.

В подобных условиях принудительное ранжирование неизбежно является