Шум. Несовершенство человеческих суждений - Оливье Сибони

что «психиатры ожесточенно спорят342, пытаясь определить, в каком случае следует диагностировать у пациента депрессивное расстройство личности». Полевые испытания DSM – V показали343, что в данном вопросе присутствует лишь «минимальная степень согласия», что означает: «психиатры высокой квалификации в условиях эксперимента единодушно приходили к выводу, что пациент страдает депрессивным расстройством, минимум в 4, максимум в 15 случаях из ста». Упомянутые нами полевые эксперименты344 позволили установить, что DSM – V лишь ухудшило текущее положение, наглядно показав рост шума «во всех важнейших областях, в частности в диагностике расстройств тревожно-депрессивного спектра… Степень ненадежности такова, что применение «Руководства…» на практике выглядит совершенно бессмысленным».

Основной причиной скромного345 успеха методических рекомендаций представляется очевидный факт: «в психиатрии диагностические критерии до сих пор расплывчаты, практическое применение их затруднено». Некоторые виды методических рекомендаций уменьшают шум за счет разложения суждения на отдельные критерии, в отношении каждого из которых степень несогласия снижается. И все же, учитывая, в какой степени подобные критерии относительно неконкретны, вероятность возникновения шума остается. Данные аргументы заставили известных психиатров предложить дальнейшую стандартизацию методических указаний по диагностике. Их рекомендации включают, во‑первых, прояснение346 диагностических критериев, устранение неконкретики, во‑вторых, введение справочных определений симптомов и степени их тяжести. Врачи говорят о том, что «если специалисты пришли к согласию по поводу наличия симптомов заболевания, им уже проще принять единое решение о диагнозе». И в‑третьих, психиатры настаивают на использовании четко структурированных интервью с пациентами, в отличие от беседы произвольного характера. В один из проектов подобного интервью инициаторы включили двадцать четыре стандартных вопроса, дающих более надежную основу для постановки диагноза пациентам с тревожными состояниями, депрессией и расстройствами пищевого поведения.

Принимаемые меры выглядят многообещающе. Насколько они способны подавить шум? Вопрос остается открытым. Один из аналитиков заметил347, что «учет субъективных симптомов пациента, их интерпретация клиническими специалистами и отсутствие объективного метода измерения (подобного анализу крови) сеют зерна ненадежности при диагностике психических расстройств». В этом смысле психиатрия вполне может оказаться устойчивой ко всем попыткам снижения уровня шума.

Время для уверенных прогнозов пока не настало. Понятно одно: если говорить о медицине в глобальном смысле, то методические рекомендации доказали свою эффективность в деле устранения смещения и шума. Подобного рода документы помогают и врачам, и медицинским сестрам, и пациентам, способствуют улучшению здоровья общества, и медики решительно в них нуждаются348.

К разговору о методических рекомендациях в медицине

«Шум в медицинской среде куда выше, чем мы думаем. Специалисты порой расходятся во мнениях по поводу диагностики рака и сердечно-сосудистых заболеваний – даже при оценке рентгенограмм. Это означает, что лечение, назначенное пациенту, сродни результату лотереи».

«Доктора уверены, что поставят один и тот же диагноз независимо от дня недели или времени дня. Однако выясняется: слова врачей расходятся с их делами – все зависит от того, насколько они устали».

«Методические рекомендации в медицине помогут врачам снизить вероятность ошибок, которые дорого обходятся пациентам. Подобные документы полезны всему медицинскому сообществу – ведь они уменьшают вариативность суждений».

Глава 23

Определение шкалы оценки профессиональной эффективности

Начнем с упражнения. Выберите трех знакомых вам людей – коллег или приятелей. Оцените каждого из них по шкале от 1 до 5. Примем балл 1 за самый низкий, балл 5 – за наивысший. Рассматривать будем три характеристики: доброту, интеллект и трудолюбие. Теперь попросите человека, который также хорошо знает ваших кандидатов, – супругу, коллегу, лучшего друга – проделать ту же процедуру с теми же людьми.

Высока вероятность, что ваш помощник в некоторых случаях выставит иной балл. Если есть желание – обсудите причины подобных расхождений. Скорее всего, выяснится, что вы использовали шкалу по-разному. Это и есть межэкспертный (в данном случае межличностный) шум. Возможно, вы считаете, что наивысшую оценку получит лишь человек, обладающий действительно выдающимися качествами. С другой стороны, ваш напарник уверен, что для выставления отличной оценки качества просто должны быть развиты выше среднего. Не исключено, что у вас с помощником разное мировоззрение: например, каждый из вас по-своему представляет себе доброту.

Теперь вообразите, что результатом вашего теста станет продвижение человека по службе или иные бонусы. Допустим, вы с напарником участвуете в оценке эффективности профессиональной деятельности работников какой-либо компании, где в шкалу ценностей включены доброта, интеллект и трудолюбие. Изменится ли выставленный вами балл? Будет ли он так же высок? А может, станет еще выше? Как бы вы ни ответили на наш вопрос, разница в целях исследования и особенностях использования измерительного инструмента наверняка создаст шумовой эффект. И в самом деле, обсуждаемые нами расхождения регулярно наблюдаются при оценке деловых качеств в зависимости от установок, принятых в той или иной компании.

Требуется суждение…

Оценка эффективности работника регулярно производится почти в каждой крупной компании, и сотрудники совсем не в восторге от подобного испытания. Вспоминается заголовок в одной из газет349: «Исследование показало, что практически каждый человек ненавидит аттестации». Добавим, что любой работник знает (во всяком случае, так нам представляется), что процесс аттестации подвержен как шуму, так и смещению. Кстати, почти никто из нас не подозревает, сколько шума производит сам.

В идеальном мире оценка эффективности не потребовала бы вынесения суждения; достаточной основой для оценки деловых качеств стали бы объективные факты. Однако большинство современных организаций разительно отличается от булавочной фабрики Адама Смита, где вклад каждого работника можно было точно измерить. Как сегодня оценить вклад в общее дело финансового директора или главы исследовательского отдела? Современные работники умственного труда работают в условиях многозадачности, и порой цели, на которые направлена их деятельность, противоречивы. Сосредоточиться лишь на одной из них – значит исказить оценку и нанести ущерб системе стимулирования. Например, количество пациентов, которых доктор принимает за день, безусловно, является важным фактором эффективности работы лечебного заведения. Тем не менее вы не захотите, чтобы врач сосредоточился исключительно на объеме, не станете оценивать его труд и поощрять лишь по количественному признаку. Каждый количественный индикатор работы – объем продаж или число строк программного кода – следует рассматривать в контексте. Клиент бывает простым, а бывает и сложным; не все проекты по разработке программного обеспечения идентичны по значимости. Подобные дилеммы говорят о том, что многих работников нельзя оценить комплексно лишь на основании объективных показателей производительности труда. Именно поэтому сегодня широко распространены аттестации с применением методов суждения350.

Одна доля реальных сигналов на три доли шума

По результатам опыта служебных аттестаций опубликованы тысячи аналитических статей, и большинство авторов приходит