Психология разведывательного анализа - Ричардс Дж. Хойер, мл.
Шрифт:
Интервал:
Закладка:
Трудности, связанные с анализом разведданных, часто объясняются неадекватностью имеющейся информации. Поэтому разведывательное сообщество США вкладывает значительные средства в совершенствование систем сбора разведданных, в то время как руководители аналитических служб сетуют на сравнительно небольшие суммы, выделяемые на увеличение аналитических ресурсов, совершенствование аналитических методов или достижение более глубокого понимания когнитивных процессов, связанных с вынесением аналитических суждений. В этой главе ставится под сомнение часто подразумеваемое предположение о том, что недостаток информации является главным препятствием для вынесения точных разведывательных суждений.
Используя в качестве испытуемых экспертов в самых разных областях, психологи-экспериментаторы изучали взаимосвязь между объемом информации, доступной экспертам, точностью суждений, которые они выносят на основе этой информации, и уверенностью экспертов в точности этих суждений. Слово "информация", используемое в данном контексте, относится к совокупности материалов, с которыми аналитик может работать при вынесении суждения.
Используя в качестве испытуемых экспертов в самых разных областях, психологи-экспериментаторы изучали взаимосвязь между объемом информации, доступной экспертам, точностью суждений, которые они выносят на основе этой информации, и уверенностью экспертов в точности этих суждений. Слово "информация", используемое в данном контексте, относится к совокупности материалов, с которыми аналитик может работать при вынесении суждения.
Основные результаты этого исследования таковы:
Если опытный аналитик располагает минимальной информацией, необходимой для вынесения обоснованного суждения, получение дополнительной информации, как правило, не повышает точность его оценок. Однако дополнительная информация приводит к тому, что аналитик становится более уверенным в своих суждениях, вплоть до чрезмерной уверенности.
Опытные аналитики плохо понимают, какую информацию они используют при вынесении суждений. Они не знают, в какой степени их суждения определяются несколькими доминирующими факторами, а не систематической интеграцией всей доступной информации. На самом деле аналитики используют гораздо меньше доступной информации, чем им кажется.
Как будет отмечено ниже, эти экспериментальные результаты не всегда следует принимать за чистую монету. Например, существуют обстоятельства, при которых дополнительная информация действительно способствует более точному анализу. Однако существуют также обстоятельства, при которых дополнительная информация - особенно противоречивая - скорее снижает, чем повышает уверенность аналитика.
Чтобы интерпретировать тревожные, но неудивительные результаты этих экспериментов, необходимо рассмотреть четыре различных типа информации и обсудить их относительную ценность в плане вклада в точность аналитических суждений. Также полезно различать анализ, в котором результаты определяются данными, и анализ, в котором результаты определяются концептуальной основой, используемой для интерпретации данных.
Понимание сложной взаимосвязи между объемом информации и точностью суждений имеет значение как для управления, так и для проведения разведывательного анализа. Такое понимание предлагает аналитические процедуры и управленческие инициативы, которые действительно могут способствовать более точным аналитическим суждениям. Оно также предполагает, что ресурсы, необходимые для достижения лучшего понимания всего аналитического процесса, могут быть с пользой отвлечены от некоторых более дорогостоящих программ сбора разведданных.
Эти выводы имеют широкое значение не только для разведывательного сообщества. Анализ информации для лучшего понимания текущих событий и оценки будущих результатов является важным компонентом принятия решений в любой области. На самом деле, психологические эксперименты, которые наиболее актуальны, проводились с экспертами в таких разных областях, как медицинская и психологическая диагностика, анализ фондового рынка, прогнозирование погоды и прогнозирование скачек. Эксперименты отражают основные человеческие процессы, которые влияют на анализ любого предмета.
Эксперименты, демонстрирующие эти явления, можно проводить в любой области, где эксперты анализируют конечное число идентифицируемых и классифицируемых видов информации для вынесения суждений или оценок, которые впоследствии могут быть проверены на точность. Например, аналитик фондового рынка обычно работает с информацией о соотношении цены и прибыли, марже прибыли, доходе на акцию, объеме рынка, уровнях сопротивления и поддержки, и сравнительно легко количественно измерить точность получаемых прогнозов. Контролируя информацию, доступную группе экспертов, а затем проверяя точность суждений, основанных на этой информации, можно изучить, как люди используют информацию для выработки аналитических суждений.
Эксперимент: Ставки на лошадей
Восьми опытным гандикапперам был показан список из 88 переменных, содержащихся в типичном графике прошлых результатов - например, вес лошади, который она должна нести; процент скачек, в которых она финишировала первой, второй или третьей в течение предыдущего года; послужной список жокея; количество дней, прошедших с момента последней скачки. Каждого гандикаппера попросили сначала определить, что он считает пятью наиболее важными пунктами информации - теми, которые он хотел бы использовать для гандикапа, если бы был ограничен только пятью пунктами информации на лошадь. Затем каждого попросили выбрать 10, 20 и 40 наиболее важных переменных, которые он использовал бы, если бы был ограничен этими уровнями информации.
В этот момент гандикапперам были предоставлены подлинные данные (стерилизованные, чтобы нельзя было идентифицировать лошадей и реальные забеги) по 40 прошедшим забегам и попросили расставить пять лучших лошадей в каждом забеге в порядке убывания ожидаемого финиша. Каждому гандикапперу давали данные с шагом в 5, 10, 20 и 40 переменных, которые он считал наиболее полезными. Таким образом, он прогнозировал каждую гонку четыре раза - по одному разу с каждым из четырех различных уровней формирования. Для каждого прогноза каждый гандикаппер присваивал значение от 0 до 100 процентов, чтобы указать степень уверенности в точности своего прогноза.
Когда прогнозы гандикапперов сравнили с фактическими результатами этих 40 забегов, стало ясно, что средняя точность прогнозов оставалась неизменной независимо от того, сколько информации было у гандикапперов. Три гандикаппера показали меньшую точность при увеличении количества информации, двое улучшили свою точность, а трое остались неизменными. Однако все они выражали неуклонно растущую уверенность в своих суждениях по мере получения большего количества информации.
Прогнозы капперов относительно победителей, занявших первые места, и уверенность гандикапперов в своих прогнозах показаны на рисунке 5.
При наличии всего пяти пунктов информации уверенность гандикапперов хорошо согласовывалась с их точностью, но по мере получения дополнительной информации они становились слишком самоуверенными.
Подобные взаимосвязи между количеством информации, точностью и уверенностью аналитика были подтверждены аналогичными экспериментами в других областях. В одном из экспериментов с клиническими психологами психо-логическое досье было разделено на четыре части, представляющие последовательные хронологические периоды в жизни относительно нормального человека. Тридцати двум психологам с разным уровнем опыта было предложено вынести суждения на основе этой информации. После прочтения каждого раздела досье психологи отвечали на 25 вопросов (на которые были известны ответы) о личности испытуемого. Как и в других экспериментах, увеличение объема информации приводило к сильному росту уверенности, но незначительному увеличению точности.
Серия экспериментов по изучению психических процессов врачей, диагностирующих заболевания, выявила слабую связь между тщательностью сбора информации и точностью диагноза. Студенты-медики, чья самоописанная стратегия исследования подчеркивала тщательный сбор информации (в отличие
