Шум. Несовершенство человеческих суждений - Оливье Сибони

и приняла к рассмотрению ранее. Кандидатов, которым по результатам собеседования предложили работу, среди отобранных алгоритмом оказалось на 14 % больше, чем среди отобранных специалистами кадровой службы. А когда им предложили работу, из первой группы приняли на 18 % больше человек, чем из второй. Алгоритму также предложили более пеструю группу кандидатов, различающихся по расе, полу и другим показателям; тут была бóльшая вероятность выбрать «нетрадиционных» соискателей – тех, кто не окончил элитную школу, не имел опыта работы, не предоставил рекомендаций. Люди больше отдавали предпочтение резюме, авторы которых поставили галочки напротив всех типовых для инженера-программиста пунктов анкеты, однако алгоритм присвоил каждому существенному фактору должный вес.

Конечно, данные примеры еще не доказывают, что алгоритмы всегда честны, беспристрастны и свободны от дискриминации. Мы рассмотрели на хорошем примере алгоритм, призванный прогнозировать успех кандидатов, однако в действительности он обучен на выборке прошлых кадровых решений и, само собой, будет повторять все человеческие предпочтения.

К тому же представляется возможным, причем довольно легко, построить алгоритм, который увековечивает расовое или гендерное неравенство; прецедентов создания именно таких алгоритмов немало. Очевидность подобных случаев объясняет растущее беспокойство по поводу искажений в принятии решений на основе формул. Тем не менее, прежде чем делать общие выводы, следует помнить, что иной алгоритм не только точнее человека, но еще и честнее.

Почему мы не так часто используем правила?

Подводя итог короткому туру, посвященному механическим методам принятия решений, мы снова назовем две причины превосходства всех видов правил над экспертными оценками. Во-первых, как описано в главе 9, все механические методы прогнозирования – а не только самые современные и продвинутые – способны одержать победу над любым экспертом. Комбинация личных предубеждений и ситуативного шума настолько сильно воздействует на качество экспертных оценок, что простота и «бесшумность» становятся немалым преимуществом. Простые и к тому же удобные правила обычно справляются лучше людей.

Во-вторых, обширного массива данных для продвинутого ИИ порой достаточно, чтобы распознать эффективные сценарии и намного превысить мощность простой модели. Когда ИИ успешно осваивает такие методы, преимущества моделей над экспертами состоят уже не только в отсутствии шума, но и в способности обработать намного больше информации.

Учитывая эти преимущества, подкрепленные огромным количеством фактов, стоит задаться вопросом: почему алгоритмы не используются более широко в различных видах профессиональных оценок, которые мы обсуждаем в данной книге? Наперекор всем оживленным дискуссиям об алгоритмах и методах машинного обучения их применение остается ограниченным, несмотря на наличие важных исключений в специфических сферах деятельности. Многие эксперты не берут в расчет дебаты клиницистов с приверженцами механических моделей, предпочитая свои суждения. Они доверяют своей интуиции и сомневаются в превосходстве машин, воспринимая саму идею принятия решений на основе алгоритмов как бездушный механический процесс и как способ снять с себя ответственность.

В частности, применение алгоритмов в постановке диагнозов до сих пор не стало общепринятой практикой, несмотря на впечатляющие успехи. Немногие организации используют алгоритмы при найме сотрудников и их продвижении по службе. Руководители киностудий в Голливуде дают зеленый свет фильмам на основе своих предпочтений и опыта, а не каких-то формул; с книгоиздателями та же история. И даже если легенда о помешанной на статистике бейсбольной команде «Окленд атлетикс», которую поведал Майкл Льюис в своем бестселлере «Moneyball», произвела сильный эффект, то лишь потому, что отбор кандидатов в команду на основе строгих математических расчетов длительное время считался исключением, а не правилом. Даже сегодня тренеры, менеджеры и те, кто с ними сотрудничает, чаще доверяют только своей интуиции, утверждая, что статистический анализ не сможет прийти на смену здравому смыслу.

В одной из статей 1996 года130 Мил и его соавтор перечислили (и опровергли) не менее семнадцати типов возражений в отношении механических методов со стороны психиатров, врачей, судей и других профессионалов. Авторы статьи пришли к выводу, что сопротивление клиницистов можно объяснить сочетанием социопсихологических факторов, включая «страх перед технологической безработицей», «недостаточную образованность» и «обычную неприязнь к компьютерам».

С тех пор исследователи распознали дополнительные факторы, которые способствовали этому сопротивлению. Мы не ставим цель предложить вам здесь полный их обзор. Цель этой книги – дать предложения по улучшению оценочных суждений, которые делают люди, а не выступать «за замену людей машинами», как выразился бы судья Франкел.

Однако некоторые выводы относительно того, что побуждает людей сопротивляться механическому прогнозированию, существенны для нашей дискуссии. В ходе недавних исследований всплыла одна ключевая догадка: люди не всегда относятся к алгоритмам с подозрением. Например, если есть выбор, у кого спросить совета – у человека или алгоритма, – они часто предпочитают алгоритм131. Неприятие, или антипатия к алгоритмам, не всегда проявляет себя как тотальный отказ от использования новейших инструментов в процессе принятия решений. Люди чаще выражают готовность дать шанс алгоритму, однако прекращают доверять ему, как только обнаруживают, что он делает ошибки132.

С одной стороны, подобная реакция кажется здравой: к чему связываться с алгоритмом, которому не доверяешь? Как и все люди, мы прекрасно сознаем, что делаем ошибки, однако делиться этой привилегией не готовы. Мы ожидаем от машин совершенства. А если наши ожидания не оправдались?133 Значит, долой машины!

Однако из-за своих интуитивных ожиданий люди, как правило, не доверяют алгоритмам и продолжают использовать свои оценочные суждения, даже когда подобный выбор приносит явно худшие результаты. Такая позиция глубоко укоренилась и едва ли изменится, пока точность прогнозов не станет практически идеальной.

К счастью, большинство методов, которые делают правила и алгоритмы более совершенными, могут взять на вооружение и люди. Мы не надеемся пользоваться информацией так же эффективно, как модели на основе ИИ, однако можем стремиться копировать простоту и «бесшумность» простых моделей. Когда мы усвоим методы сокращения системного шума, то сами увидим, что качество наших прогнозов улучшается. Это станет основной темой части V.

К разговору о правилах и алгоритмах

«На больших массивах данных алгоритмы на основе методов машинного обучения работают лучше людей и лучше простых моделей. Однако даже самые простейшие правила и алгоритмы имеют большое преимущество над людьми: они свободны от шума и не стараются прибегать к запутанным и в большинстве случаев непродуктивным домыслам в отношении прогностических факторов».

«Поскольку у нас недостаточно данных о конечном результате, который должны спрогнозировать, почему бы не использовать равновесную модель? Она почти не уступает «правильной» модели и в отдельных случаях уверенно справится с задачей лучше человека».

«Вы не соглашаетесь с прогнозом модели. Я вас понимаю. Однако что у нас по факту – «сломанная нога» или вам просто не нравится сам прогноз?»

«Конечно,