Принцип «черного ящика» - Мэтью Сайед

Именно таким путем шли средневековые медики, практиковавшие опасное кровопускание. Эти врачи как будто бы получали точную обратную связь, позволявшую судить о том, работает метод или нет. Пациент либо умирал после процедуры, либо не умирал. Факты были налицо.

Но как интерпретировать факты? Мы видели, что врачи, убежденные в полезности кровопускания авторитетами вроде Галена, не сомневались в действенности метода. Если пациент умирал, значит, он был так сильно болен, что не могло помочь даже кровопускание. Если пациент выживал, значит, метод работал.

Только представьте себе, сколько историй успеха кровопускания циркулировало в средневековом мире – историй о людях, которые были очень больны, возможно, находились при смерти, но после кровопускания выздоравливали. Насколько убедительно звучали эти свидетельства! «Я был одной ногой в могиле, но тут доктор пустил мне кровь – и я излечился!»

Представьте, как такие люди нахваливали кровопускание на рыночных площадях. Ну а те, кто умер? Они, ясное дело, уже не могли ничего сказать. Их свидетельства остались неуслышанными.

Теперь взгляните на рисунок [182].

Кровопускание без контрольной группы

В этом (гипотетическом) примере группу хронически больных людей лечат кровопусканием. Некоторые из них выздоравливают. Таков «факт», подтверждающий полезность лечения. Пациентам стало лучше, и они, естественно, очень этому рады.

Но ни врачи, ни пациенты не знают, что было бы, если бы процедура кровопускания не была проведена. В экспериментах эту информацию называют контрфактической. Речь обо всем том, что могло бы произойти, но так с нами и не произошло потому, что мы пошли другим путем.

Мы не знаем, что бы случилось, если бы мы не вступили в брак. Или если бы у нас была другая работа. Мы можем рассуждать о том, «что было бы, если бы», выдвигать достоверные гипотезы. Но на деле мы этого не знаем. Мысль может показаться банальной, но она влечет за собой важные выводы.

Теперь посмотрим на другой рисунок. Здесь пациентов случайным образом разделили на две группы. Одну лечили кровопусканием, другую (ее называют контрольной группой) – нет. Данный тип эксперимента известен как «рандомизированное контролируемое испытание» (РКИ); в медицине его называют клиническим испытанием. По рисунку видно, что многие пациенты, которым пускали кровь, вылечились. Кажется, метод успешен. Обратная связь впечатляет.

Кровопускание с контрольной группой

Но взгляните на группу, которая осталась без лечения. В ней выздоровело куда больше людей! Причина проста: наше тело может восстанавливаться само по себе. Люди поправляются естественным образом, без всякого лечения. Если сравнить две группы, можно увидеть, что, несмотря на веру средневековых врачей в полезность кровопускания, в действительности оно скорее убивает. Этот факт остался бы незамеченным, если бы не было контрольной группы[36]. Вот почему, как мы отметили в первой главе, кровопускание сохраняло репутацию полезной процедуры вплоть до XIX в.

До сих пор мы рассматривали случаи недвусмысленных ошибок. Когда самолет разбивается, вы знаете, что с системой что-то не так. Когда анализ ДНК показывает, что осужден невиновный, вы знаете: что-то не так с судом или следствием. Когда любители новинок отвергают минимально конкурентоспособный продукт, можете быть уверены: конечный продукт никто покупать не будет. Когда распылитель забивается, вы знаете, что вам предстоят расходы. Эти примеры дают нам возможность изучить откровенные неудачи.

В реальной жизни неудачи по большей части совсем другие. Обычно они воспринимаются двусмысленно. То, что выглядит как успех, может быть неудачей, и наоборот. Все это, в свою очередь, составляет серьезное препятствие на пути прогресса. В конце концов, как можно учиться на ошибках, если мы не уверены, что потерпели неудачу? Или, если сказать то же самое языком последней главы, как можно запустить процесс эволюции без вразумительного процесса отбора?

Посмотрим на конкретный пример. Допустим, вы сделали новый дизайн веб-сайта вашей компании – и продажи немедленно повысились. Вы можете сделать вывод, что новый дизайн обусловил скачок продаж. Ведь одно событие предшествовало другому! Но как вы можете быть уверены в своем выводе? Нельзя исключать, что продажи выросли не благодаря новому дизайну сайта, а потому, что обанкротился ваш конкурент, или потому, что выдался дождливый месяц и люди чаще покупали товары в интернете. Более того, существует вероятность того, что продажи выросли бы еще больше, если бы дизайн сайта остался прежним.

Изучение статистики продаж поможет вам отыскать ответ на вопрос не больше, чем определение числа выздоровевших после кровопускания поможет определить, эффективен этот метод лечения или нет. Причина проста: вы не берете в расчет контрфактические возможности. Вы не знаете, как повлияли на продажи другие факторы – может быть, те, которые вы вообще не учитываете.

РКИ решают эту проблему. Они повышают точность эксперимента и приближают оттенки серого к черно-белому изображению. Рассматривая чистое взаимодействие между вмешательством (кровопускание, новый веб-сайт…) и результатом (выздоровление, продажи…), исключая другие воздействия, РКИ очищают обратную связь. Без подобного испытания легко прийти к неверным выводам, и не единожды, а бесконечное число раз.

РКИ произвели революцию в фармакологии. Врач и писатель Бен Голдэйкр, проповедующий доказательную медицину, утверждает: «Эта идея сама по себе явно спасла на порядок больше жизней, чем все прочие идеи, с которыми мы сталкиваемся ежедневно» [183]. По словам Марка Хендерсона, бывшего научного редактора газеты The Times, «рандомизированное контролируемое испытание – это одно из величайших изобретений современной науки» [184].

Все-таки стоит заострить внимание на том, что РКИ вовсе не панацея. Бывают обстоятельства, в которых проводить РКИ сложно, а иногда это считается неэтичным. Кроме того, фармацевтические компании часто подтасовывали результаты РКИ и всячески хитрили, чтобы никто не мог обвинить их в предвзятости [185]. Но все это не означает, что рандомизированные контрольные испытания недостоверны – просто их могут сделать такими люди с сомнительными мотивами.

Еще одно замечание состоит в том, что рандомизированные испытания не учитывают целостный характер системы. Скажем, некое лекарство может излечивать конкретный симптом и при этом оказывать негативное долгосрочное влияние на организм в целом или не лечить причину болезни. Таблетки от боли в животе могут навредить иммунной системе, что, в свою очередь, скверно скажется на здоровье пациента в долгосрочном плане.

По сути, это замечание предлагает не ограничивать период оценки результатов клинического испытания коротким промежутком времени после принятия лекарства. Кроме того, результат следует оценивать не по конкретному симптому, а по влиянию лекарства на организм в целом. Отсюда видно, что при проведении РКИ важно обращать внимание на долгосрочные последствия. Увы, медики часто этого не делают.

Все эти соображения играют очень мало роли, когда речь заходит о спасении жизни. Если вы оказались в эпицентре эпидемии оспы или лихорадки Эбола, вы захотите вакцинироваться, даже если существует риск через 10–20 лет столкнуться с осложнениями [186].

С учетом этих оговорок можно сказать, что РКИ предлагают великолепный метод проведения достоверных испытаний в сложном мире. Если проводить РКИ тщательно, исчезает двусмысленность, которая может исказить нашу интерпретацию обратной связи. Между тем провести РКИ очень просто.

Возьмем рассмотренный ранее пример с обновленным дизайном веб-сайта. Нужно установить, увеличились продажи благодаря новому дизайну или чему-либо еще. Предположим, что, когда пользователь заходит на ваш сайт, он случайным образом направляется на страницу либо с новым, либо со старым дизайном. Впоследствии вы можете измерить, где покупают больше товаров – на новом сайте или на старом. Этот эксперимент отфильтрует все прочие факторы – процентные ставки, конкурентов, погоду – и выявит скрытую контрфактическую информацию.

С 1950-х гг. в медицине проведено около полумиллиона РКИ. Это спасло сотни тысяч жизней. Но вот что характерно: в некоторых областях РКИ практически не проводятся. В системе уголовного правосудия о них, кажется, почти ничего не знают. Так, в 2006 г. медики провели 25 тысяч РКИ, между тем в области криминалистики и правосудия с 1982 по 2004 г. прошло всего-навсего 85 таких испытаний [187].

Дэвид Хэлперн, один из самых уважаемых аналитиков Великобритании, говорит: «Во многих сферах государственного управления не проводится вообще никаких испытаний. Решения принимаются на основании догадок, интуиции и нарратива. Точно так же обстоят дела во многих сферах за пределами госсектора. Мы летим вслепую, не имея ни малейшего понятия, какие решения правильны, а какие нет. На деле это довольно страшно» [188].