Принцип «черного ящика» - Мэтью Сайед

Дэвид Хэлперн, один из самых уважаемых аналитиков Великобритании, говорит: «Во многих сферах государственного управления не проводится вообще никаких испытаний. Решения принимаются на основании догадок, интуиции и нарратива. Точно так же обстоят дела во многих сферах за пределами госсектора. Мы летим вслепую, не имея ни малейшего понятия, какие решения правильны, а какие нет. На деле это довольно страшно» [188].

Замкнутые циклы – это не просто занятный феномен, они часть мира, в котором мы живем. Они могут быть маленькими и огромными, малозаметными и очень сложными, они существуют в маленьких компаниях, больших компаниях, благотворительных фондах, корпорациях и правительствах. Большая часть наших представлений о мире никогда не подвергалась нормальному тестированию. И не подвергнется, если мы что-нибудь не предпримем.

Для того чтобы взглянуть на потрясающую бездну между тем, что, по нашему мнению, мы знаем, и тем, что мы знаем на самом деле, давайте вернемся к программе «Испугаться и исправиться». Она казалась весьма эффективной. Статистика наблюдений выглядела убедительно[37]. Но мы знаем, что программа не уменьшила число преступников, а увеличила его.

Во многих аспектах «Испугаться и исправиться» – метафора не только для государственной политики (возможно, ближайший аналог кровопускания для XX в.), но и для других сфер нашей деятельности. Эту программу могли реализовывать десятилетиями, а то и веками, не подвергая проверке ее итоги.

«Испугаться и исправиться» – это метафора, но прежде всего это предостережение.

3

В 1999 г. американское телевидение показало документальный фильм «Испугаться и исправиться: 20 лет спустя». На сей раз в качестве рассказчика выступил не Питер Фальк, а Дэнни Гловер. Зрителям показали, как сложились судьбы всех семнадцати худеньких подростков, которых мы видели в первом фильме. Результаты программы казались такими же чудесными, как и 20 лет назад.

Многие участники ленты рассказывали, как им живется сейчас. Почти все утверждали, что трехчасовое посещение тюрьмы Рауэй два десятилетия назад круто переменило их жизнь. Теренс, чернокожий юнец, угонявший машины и грабивший магазины, иногда читает проповеди в местной баптистской церкви, у него есть жена и двое сыновей. «Вполне вероятно, что если бы я не побывал тогда в Рауэе, то попал бы за решетку и сейчас был бы мертв», – говорит он.

Лори – в первом фильме это 16-летняя девушка с широкой улыбкой и большими серьгами, торговавшая наркотиками, – теперь бухгалтер и мать, ей уже 36 лет. «Тем утром я думала, что это повод прогулять уроки, – говорит она. – Прежде я никогда ничего не боялась… В тот день я поняла, что больше не хочу быть неучем… Я стала чаще ходить в школу…»

Анджело, парню с нечесаными волосами и тонкими усиками, стукнуло 37 лет. Он зарабатывает на жизнь настиланием полов, у него трое детей. Он говорит: «Если бы я не поехал тогда в Рауэй, мне пришлось бы несладко. Если бы тот день был другим, у меня не было бы моей семьи. Сейчас моя семья для меня – это все лучшее, все самое прекрасное, что есть на свете».

Так феномен «Испугаться и исправиться» был подан миллионам телезрителей. Статистика тоже вроде бы подтверждала успех этой программы. Ее разработчики позаботились о том, чтобы собрать информацию, что редко делают в других социальных программах.

Согласно статистике, от 80 до 90 % участников «Испугаться и исправиться» действительно исправились. В документальном фильме сказано: «Это потрясающая история успеха. Традиционные методы реабилитации так хорошо не работают».

Но если мы оглянемся назад, на 1977 г., начнет проявляться совсем другая картинка. В апреле 1977 г. профессор Ратгерской школы уголовной юстиции Джеймс Финкенауэр решил протестировать программу «Испугаться и исправиться». Статистика наблюдений его не интересовала. Ученый знал, что она может ввести в заблуждение. Его также не интересовали шумиха и тщательно смонтированные документальные фильмы. Он хотел знать, работает ли программа на самом деле. Если коротко, он хотел провести РКИ.

Сегодня Финкенауэр – седовласый мужчина с пытливым взглядом. Он опубликовал десятки статей и получил несколько наград за свои исследования. Его рассуждения поражают: он говорит осторожно, взвешенно, всегда прислушиваясь к собеседнику. В нем есть что-то от лазера: Финкенауэр пытается пробиться сквозь слой заблуждений к истине, которая лежит под ним. Все эти качества помогли ему препарировать феномен «Испугаться и исправиться» научным методом.

Но прежде чем проводить РКИ, Финкенауэр проверил существующую статистику программы. Откуда взялись 80–90 % исправившихся детей? Профессор обнаружил, что эти цифры базируются на опроснике, который был разослан родителям и опекунам подростков, посещавших Рауэй. (Еще одним источником информации стали письменные благодарности финансировавших программу агентств, посылавших детей в Рауэй. Эти письма доверия не заслуживали. У агентств могли быть сотни скрытых причин верить в успех программы.)

Опросник содержал четыре вопроса, подразумевавших ответы «да» или «нет»:

Заметили ли вы явные перемены в поведении вашего ребенка после посещения тюрьмы?

Наблюдаются ли в его поведении незначительные изменения после посещения тюрьмы?

Считаете ли вы, что вашему сыну или вашей дочери необходимо еще одно такое посещение?

Можем ли мы чем-то помочь вам, вашему сыну или вашей дочери?

Ниже было оставлено место для комментариев [189].

Что такое «явные перемены»? А «незначительные изменения»? Эти понятия можно ведь истолковать как угодно. Финкенауэр выявил также любопытный факт: многие дети, посещавшие тюрьму Рауэй, не были малолетними преступниками и не склонялись к антисоциальному поведению. И если они не совершали впоследствии никаких преступлений, это вряд ли можно рассматривать как успех программы. Более того, опросники рассылались родителям через несколько недель после посещения тюрьмы их детьми. Судить об изменениях в поведении за столь короткий промежуток времени невозможно.

И это была лишь малая часть претензий. Как выяснилось, основной массив статистических данных нельзя принимать всерьез. Прежде всего, в статистику были включены только те, кто ответил на опросник. Тех, кто не ответил, словно бы и не было. Только представьте, как эта ошибка могла повлиять на результат. Не исключено, что на вопросы ответили родители только тех детей, которые действительно исправились. Матери и отцы подростков, продолжавших вести себя плохо, могли просто выбросить опросник; по крайней мере, ответивших среди них было явно меньше. Все это, вполне вероятно, исказило статистику.

Данный тип ошибки известен как «систематическая ошибка отбора», и мы с ним уже сталкивались. Почти та же проблема существовала в средневековой медицине: доказывая эффективность кровопускания, врачи учитывали только пациентов, которые выздоровели. «Доказательная база» представлялась убедительной, но оставалась опасно неполной. Те, кто кровопускания не пережил, права голоса не получали. Почему? Потому что они были мертвы.

Другая проблема статистики программы «Испугаться и исправиться» была еще хуже. Она имела отношение к контрфактическим данным. Даже если бы на опросники ответили все без исключения (чего не было), мы по-прежнему не могли бы утверждать, что результаты обусловлены программой и ничем иным. Может быть, поведение подростков улучшилось бы и без внешнего вмешательства. Или оно улучшилось, потому что улучшилась местная экономическая ситуация, потому что изменилась школьная программа, по какой-то другой причине. Возможно, результаты были бы лучше, если бы вмешательства не было.

В августе 1978 г. Финкенауэр случайным образом разделил малолетних преступников на две группы[38]. Одна группа участвовала в программе «Испугаться и исправиться». Другая (контрольная) группа – нет. После этого Финкенауэр стал ждать результатов. Невзирая на шумиху вокруг программы, на звезд, которые ее пропагандировали, хитроумный пиар, оскароносный документальный фильм, похвалы политиков, слова благодарности тюремного персонала и распространение программы по миру, профессор был первым, кто подверг программу серьезному испытанию на прочность.

Результаты стали сенсацией. Программа «Испугаться и исправиться» не работала. Дети, посетившие Рауэй, были более склонны к совершению преступлений, чем те, кто в программе не участвовал. «Факты доказывают: участники программы совершали новые проступки с большей вероятностью, чем те, кто в тюрьму не ездил, – говорит Финкенауэр. – Если сравнить контрольную группу с группой участников, выводы очевидны».