Шум. Несовершенство человеческих суждений - Оливье Сибони

источником ошибки и несправедливого подхода. Представим, что команда, которую оценивает один эксперт, составлена из пяти человек, степень эффективности которых практически неотличима. Принудительное распределение по шкале в условиях отсутствия различий не понизит вероятность ошибки. Наоборот, тем скорее ошибка произойдет.

Критики системы принудительного ранжирования часто нападают на сам принцип, который осуждают как жестокий, бесчеловечный и приводящий к обратному результату. Вы можете не согласиться с их аргументами, однако фатальный недостаток принудительного ранжирования – не сам факт распределения, а именно его принудительный характер. Ваши суждения насильственным образом распределяются по несоответствующей реальности шкале: либо шкалу относительных ценностей ошибочно используют для измерения абсолютной эффективности, либо судей заставляют различать неразличимое – в каждом из подобных случаев выбор неверной шкалы оценки автоматически создает дополнительный шум.

Что же дальше?

Попытки компаний оптимизировать системы измерения эффективности, прямо скажем, разочаровывают. Более того, в результате всех этих усилий затраты на оценку эффективности взлетели до небес. Еще в 2015 году в Deloitte364 подсчитали, что на оценку эффективности шестидесяти пяти тысяч человек ежегодно уходит два миллиона часов. Аттестации остаются одним из самых устрашающих ритуалов; их ненавидят и сами оценивающие, и аттестуемый персонал. В ходе одного исследования365 выяснилось, что 90 % боссов, сотрудников и глав кадровых служб считают, что процесс управления эффективностью не приносит тех результатов, на которые рассчитывают компании. Ошеломляющая цифра! Между тем исследование всего лишь подтвердило ощущения большинства руководителей. Хотя обратная связь в отношении результатов работы (если считать оценку планом развития работника) способна дать положительный эффект, сам рейтинг эффективности (или, во всяком случае, методы его присвоения) лишает работника мотивации столь же часто, сколь и стимулирует. В одном из обзоров подведен следующий итог: «Какие бы меры366 ни принимались за последние десятилетия для оптимизации процесса [управления эффективностью], любые попытки порождают потоки неточной информации и практически не способствуют повышению эффективности».

Некоторые доведенные до отчаяния компании (а их становится все больше) сегодня рассматривают радикальные методы полного отказа от систем оценки. Среди сторонников революции в процессе управления эффективностью367 немало компаний из сферы высоких технологий и профессиональных услуг, а также ряд компаний из традиционных секторов экономики. В лагере революционеров больше сосредоточились на развивающих и работающих на будущее методах обратной связи, нежели на технологиях ретроспективной оценки. Кое-кто даже применяет системы анализа, не содержащие количественных значений, – то есть происходит отказ от традиционного формирования рейтинга эффективности.

Как оптимизировать систему рейтингов тому, кто не намерен сдаваться? Ведь таких компаний подавляющее большинство. Повторим, что одна из стратегий снижения шума заключается в выборе правильной шкалы с целью обеспечить общую систему отсчета. Результаты исследований заставляют предположить, что сочетание усовершенствованных форматов оценки и обучение составляющих отзывы экспертов помогут добиться большей слаженности действий в применении шкалы.

Как минимум шкала оценки эффективности должна быть привязана к достаточно точным характеристикам, которые дадут возможность их единообразной интерпретации. Многие компании пользуются шкалой, привязанной к поведенческим показателям. Каждое деление на подобной шкале соответствует определенной поведенческой характеристике. Подобный пример приведен в левой секции рисунка 18.

Руководствуясь имеющимся опытом368, скажем, что поведенческая шкала не устраняет шум в достаточной степени. Следующий шаг на этом пути – обучение экспертов принципам общей системы отсчета, позволяющей достигнуть межэкспертного согласия. На данной стадии они учатся распознавать различные измерительные характеристики эффективности369, набивая руку на присвоении оценок с помощью коротких обучающих видеороликов. В процессе подготовки каждый из них видит, насколько составленный ими рейтинг совпадает с «истинной» оценкой. Обучающие ролики служат рекомендуемой моделью, и каждый из них определяет какое-либо опорное значение на шкале оценки. Данная шкала содержит конкретные примеры, как указано в правой секции рисунка 18.

В случае применения шкалы опорных значений рейтинг каждого работника является сравнением с эталонным случаем, а суждение приобретает относительный характер. Учитывая, что сравнительные суждения меньше подвержены воздействию шума, чем абсолютные рейтинги, шкала опорных значений надежнее системы, использующей количественные, описательные или поведенческие характеристики.

Специалист по работе с клиентами:

Предупредителен и вежлив с каждым клиентом; надлежащим образом применяет знания о каждом товаре, помогая клиенту сделать выбор; прислушивается к каждому слову, старается выглядеть жизнерадостным, позитивным, полезным.

Рис. 18370. Пример поведенческой шкалы оценки (слева) и шкалы опорных значений (справа)

Обучение общей системе отсчета уже несколько десятков лет дает результат в виде снижения шума и способствует более точным оценкам. И все же данный метод не получил широкого распространения – о причинах подобного отношения догадаться несложно. Обучение общей системе отсчета, разработка шкалы опорных значений и иные инструменты, преследующие аналогичные цели, сложны и требуют времени. Повысить их ценность можно, адаптировав методы к специфике каждой компании и даже конкретного подразделения, осуществляющего оценку. Каждую методику следует регулярно обновлять по мере эволюции требований к работе персонала. Таким образом, любой из указанных нами методов предполагает регулярные дополнительные инвестиции в системы управления эффективностью. Современные тенденции, к сожалению, имеют иной знак. В части VI мы подробнее остановимся на затратах, связанных со снижением шума.

Следует добавить, что любая компания, идущая по пути нейтрализации шума, в процессе оценивания снижает способность «судей» влиять на итоговый рейтинг в личных целях. Заставляя менеджеров пройти дополнительное обучение, затратить больше усилий на процесс вынесения суждений и отказаться от контроля над результатами тестирования, вы, разумеется, встретите с их стороны серьезное сопротивление. Характерно, что большинство исследований371 метода обучения общей системе отсчета пока проводилось на студентах, не затрагивая реальных руководителей.

Оценка эффективности – масштабная тема, вызывающая множество практических и философских вопросов. Порой спрашивают: насколько само понятие индивидуальной эффективности актуально для современных компаний, когда итоговый результат нередко зависит от умения сотрудников взаимодействовать друг с другом? Если мы полагаем, что оно все же значимо, – следует задуматься: как эффективность распределяется между сотрудниками организации? Распределение может быть равномерным, хотя порой в компании работает «звезда»372, вносящая непропорционально большой вклад в общую эффективность по сравнению с коллегами. Если ваша цель заключается в том, чтобы выявить лучшие качества каждого работника, имеются основания для следующего вопроса: нет ли у вас ощущения, что методы измерения эффективности пробуждают в сотрудниках страх и корысть? Если да – точно ли подобный подход является лучшим (или хотя бы эффективным)?

Если вы задались целью построить систему управления эффективностью или проводите ее ревизию, вам придется ответить на подобные вопросы – и не только на них. Мы не стремимся подробно изучить каждую из указанных проблем в контексте книги, а всего лишь подсказываем: при измерении эффективности следует помнить,