Шум. Несовершенство человеческих суждений - Оливье Сибони

В 2020 году группа из 112 исследователей под руководством Сары Макланахан и Мэтью Салганика, профессоров социологии Принстонского университета, опубликовала в журнале Pro-ceedings of the National Academy of Sciences необычную статью 143. Исследователи задались целью разобраться, представляют ли в действительности социологи, как в будущем сложится жизнь социально уязвимых семей. Насколько успешно социологи могут предугадать события в жизни семьи, зная то, что они знают? В частности, какого уровня точности могут добиться эксперты в своих прогнозах, используя информацию, которую обычно собирают и затем применяют в своих исследованиях социологи? В рамках нашей терминологии целью исследования было измерить уровень объективной неосведомленности, который остается после того, как социологи сделали свою работу.

Авторы статьи воспользовались материалами программы FFCWS[11] – широкомасштабного долгосрочного исследования, в ходе которого детей наблюдали с рождения до пятнадцати лет. Огромная база данных содержала несколько тысяч элементов информации о семьях, где росли почти пять тысяч детей из крупных городов США. Большинство детей воспитывались не состоящими в браке родителями. Эти данные включали в себя такие сведения, как уровень образования и род занятий бабушек и дедушек, состояние здоровья всех членов семьи, показатели экономического и социального положения, ответы на множество анкет и тесты на когнитивные установки и личностные качества. Социологи сумели как нельзя лучше распорядиться таким обилием ценной информации: на основе полученных от FFCWS данных было написано более 750 научных статей. Во многих из этих документов анализировались социальные условия, в которых воспитывались дети, чтобы объяснить их последующие достижения и неудачи: например, успехи в средней школе или привлечение к уголовной ответственности.

Исследования принстонской команды сосредотачивались на прогнозируемости развития событий по шести различным категориям к тому времени, когда ребенку исполнится пятнадцать лет, таким как выселение из квартиры, средний балл в школе и общая оценка материального положения семьи. Организаторы использовали метод, названный ими «метод типовых задач». Они пригласили команды ученых для состязания в вынесении прогнозов по шести выбранным категориям с использованием доступного массива данных о каждой семье, участвовавшей в программе FFCWS. Подобный тип задач нестандартен для социологии, хотя вполне обычен для информатики, где команды часто приглашают для состязания, например, в машинном переводе стандартных текстов или в распознавании животных по большому набору фотографий. Достижения команды-победителя устанавливают планку для следующих состязаний. В социологических задачах прогнозирования, где невозможно ожидать быстрых улучшений, разумно использовать в качестве меры предсказуемости развития событий наиболее точный прогноз из всех, участвовавших в состязании, – другими словами, остаточный уровень объективной неосведомленности.

Исследование вызвало заслуженный интерес среди специалистов. Последний доклад представил результаты 160 высококвалифицированных команд, выбранных из внушительного международного пула претендентов. Большинство из выбранных конкурентов использовали методы машинного обучения и позиционировали себя как специалистов по базам данных.

На первом этапе состязаний команды участников имели доступ ко всем данным на половинной выборке; данные включали варианты развития событий по шести категориям. Команды использовали эти «тренировочные данные» для обучения алгоритма. Затем алгоритмы применялись ко второй выборке, которая не участвовала в тренировке. В качестве единицы измерения точности использовали MSE: погрешность прогнозирования в каждом случае определялась как квадрат разности между реальным и прогнозируемым результатом.

Насколько хороши были модели победителей? Продвинутые алгоритмы на основе методов машинного обучения, прошедшие тренировку на больших массивах данных, конечно, обогнали простые линейные модели (и смогли бы оставить позади опытных экспертов, будь у них такая возможность). А вот превосходство моделей на основе ИИ над самой простой моделью оказалось совсем незначительным, и точность их прогнозов осталась плачевно низкой. С прогнозированием случаев выселения из квартиры лучшая модель добилась корреляции 0,22144145 (ПС=57 %). Схожие результаты были выявлены для других однократных событий – например, был ли первый опекун уволен, имел ли он профессию или на сколько баллов ребенок оценил свою так называемую «хватку» – черту характера, которая сочетает в себе упорство и настойчивое стремление к конкретной цели. Здесь корреляция колебалась между 0,17 и 0,24 (ПС=55–58 %).

Две из шести категорий представляли из себя комплексные показатели и потому более подходили для прогнозирования. Корреляция по среднему баллу, полученному ребенком в школе, составила 0,44 (ПС=65 %), а корреляция по суммарному индексу материальных затруднений за предшествующие 12 месяцев – 0,48 (ПС=66 %). Этот индекс определялся ответами на 11 вопросов, таких как «Постоянно ли вы голодали?» и «Отключали ли вам телефон за неуплату?». Комплексные показатели зарекомендовали себя как более подходящие для прогнозирования и более предсказуемые в категориях разовых событий. Основной вывод по результатам исследований был следующим: большой объем предиктивной информации недостаточен для прогноза разовых событий в жизни людей, и даже прогноз комплексных показателей довольно серьезно ограничен.

Наблюдаемые здесь результаты типичны; во многих случаях заявленная социологами корреляция попадает в этот диапазон. В более обширном обзоре по социальной психологии146, включающем в себя 25 тысяч исследований и 8 миллионов предметов обсуждения за период более ста лет, был сделан вывод, что «результативность прогнозов в социальной психологии довольно низка: коэффициент корреляции обычно не превосходит 0,21». Более высокая корреляция – например упомянутая ранее корреляция порядка 0,60 между ростом и размером стопы взрослого человека – обычна для физических параметров и крайне редко встречается в социологии. Обзор 708 исследований147 на поведенческую и когнитивную тематику выявил, что всего в 3 % из них корреляция оказалась 0,50 и выше.

Настолько невысокий коэффициент корреляции может вас удивить, если вы начитались статей, в которых результаты заявлены как «статистически значимые» или даже «весьма значимые». Статистические термины зачастую вводят непрофессионалов в заблуждение, и «значимый» – наихудший тому пример. Когда результат объявляется «значимым», из этого не следует, что описываемый эффект устойчив. Это по сути всего лишь утверждение типа «маловероятно, что выявленная зависимость всего лишь игра случая». На достаточно большой выборке корреляция может быть одновременно и «очень значимой», и, наоборот, «слишком незначительной, чтобы ее обсуждать».

Ограниченная предсказуемость однократных событий в знаменитом исследовании доносит до нас отрезвляющую весть о разнице между пониманием и прогнозом. Программа FFCWS оказалась настоящим сокровищем для социологии, и, как мы увидели, собранные в ходе ее проведения данные использованы весьма плодотворно. Ученые, которые проводили эти исследования, несомненно ощущали уверенность, что их работа будет способствовать пониманию проблем, с которыми сталкиваются уязвимые семьи. К несчастью, ощущение прорыва не может соперничать со способностью делать дискретные прогнозы отдельных событий в жизни отдельных людей. Вступление к статье об эксперименте с базой данных программы FFCWS содержит грозное предостережение: «Исследователи должны согласовывать148 свои фантазии насчет понимания людских судеб с тем фактом, что ни один из прогнозов не окажется достаточно точным».