Обман в науке - Бен Голдакр

Чтобы отнестись к заявлениям такого рода серьезно, нам пришлось бы прочитать эти исследования. Я ни на секунду не хочу обвинить кого-либо в обмане: в любом случае, если кто-то подозревает обман, чтение исследования не поможет, поскольку, если результаты сфабрикованы, то потребуется судебный статистик и много времени и информации, чтобы поймать обманщиков за руку. Но нам не нужно читать опубликованные исследования, чтобы установить, являются ли выводы, сделанные букмекерами от исследований, значимыми или там есть методологические ошибки, которые делают их интерпретацию продуктом предвзятого мышления, некомпетентности или, возможно, просто суждением, с которым вы не согласны.

Среди интересов Поля Брока (Paul Вгоса), французского ученого-краниолога XIX века (его имя носит поле Брока, участок лобной доли мозга, отвечающий за речь и часто повреждающийся при инсультах), была привычка измерять мозг, и его всегда возмущал тот факт, что немецкие мозги были граммов на сто тяжелее, чем французские. Поэтому он решил, что при измерении веса мозга во внимание должны приниматься другие факторы, например общий вес тела: это объясняло, к его удовлетворению, больший вес немецких мозгов. Но для своей выдающейся работы о том, что у мужчин мозг больше, чем у женщин, он такой поправки не сделал. Случайно или намеренно, кто знает?

Чезаре Ломброзо (Cesare Lombroso), пионер биологической криминологии, живший в XIX веке, был столь же непоследователен в выводах из своих исследований, считая нечувствительность к боли среди преступников и «низших рас» признаком примитивной натуры, но рассматривая то же самое качество у европейцев как доказательство храбрости и мужества. Дьявол кроется в деталях, вот почему ученые описывают свои методы и результаты в академических журналах, а не в газетах или телепередачах, и вот почему экспериментальные исследования не могут быть описаны исключительно в средствах массовой информации.

Вы можете почувствовать после всей этой чуши об испытаниях, что мы должны быть осторожны по поводу оценки Даремом и компанией Equazen их собственной работы, но такие же подозрения могут возникнуть и по поводу исследований серьезных ученых (они с пониманием отнесутся к этим подозрениям, и я смогу прочитать данные об их исследованиях). Я попросил компанию Equazen дать мне почитать об их двадцати исследованиях с положительными результатами, и мне сказали, что для этого я должен буду подписать соглашение о конфиденциальности — и это чтобы посмотреть данные исследований, широко рекламируемых СМИ и Даремским советом, исследований, касающихся такой противоречивой области, как питание и поведение, вызывающих такой интерес у публики, исследований, проводимых (простите, если я становлюсь здесь слишком сентиментальным) на наших школьниках. Я отказался[24].

Тем временем во всех газетах и на телевидении, куда бы вы ни посмотрели, по крайне мере с 2002 года, были отчеты о положительных испытаниях в Дареме, с использованием продуктов фирмы Equazen. Казалось, что было проведено с полдюжины испытаний в разных местах на учащихся государственных школ Дарема, однако в научной литературе не было ни одной публикации (кроме одного исследования, проведенного ученым из Оксфорда на детях с нарушениями координации). Были оптимистические пресс-релизы Даремского совета, которые говорили о положительных результатах. Были интервью Мадлен Портвуд в прессе, в которых она с энтузиазмом говорила о положительных результатах (а также о том, что рыбий жир улучшает состояние кожи у детей и решает другие проблемы) — но никаких опубликованных исследований.

Я связался с Даремом. Они соединили меня с Мадлен Портвуд, мозговым центром, стоящим за этой масштабной и длительной операцией. Она регулярно появляется на телевидении, где рассуждает о рыбьем жире, используя иногда неуместные научные термины, например «лимбический», перед непрофессиональной аудиторией. «Это звучит сложно, — говорят телеведущие, — но наука утверждает…» Портвуд с удовольствием встречается с родителями и журналистами, но мне она так и не перезвонила. Пресс-службе потребовалась неделя, чтобы ответить на мои письма, присланные по электронной почте. Я спрашивал о подробностях исследований, которые они проводили или проводят. Их ответы не соответствовали тому, что было напечатано в СМИ. По крайней мере одно испытание, кажется, потерялось. Я спрашивал о методологических деталях проводимых и уже завершенных исследований. Только после опубликования, говорили они.

Equazen и Даремский совет за несколько лет обработали и прикормили с ложечки толпу журналистов, уделяя им время и энергию; насколько я могу судить по тому, что они пишут, единственная разница между этими журналистами и мной состоит в том, что они очень мало знают об организации этих испытаний, а я знаю достаточно (теперь знаете и вы).

Тем временем я продолжал обращаться на сайт durhamtrials.org, как будто бы он содержал полезную информацию. Он уже обманул многих журналистов и родителей до меня благодаря многочисленным захватывающим историям и рекламе продуктов Equazen. Но как источник информации об испытаниях, этот сайт является прекрасной иллюстрацией того, почему необходимо публиковать исследование до того, как вы сделаете какие- либо решающие выводы о его результатах. Трудно сказать, что там есть. Последний раз, когда я туда заглядывал, там были данные какого-то приличного исследования, проведенного учеными из Оксфорда (эти исследования случайно проводились в Дареме), но кроме этого — никаких признаков собственных Даремских исследований с плацебо-группой, сообщения о которых время от времени появляются в новостях. Там множество сложных графиков, но они, по-видимому, относятся к специальным Даремским исследованиям без плацебо-группы. С помощью этих наукообразных графиков они иллюстрируют улучшения, но там нет статистических данных, чтобы определить, являются ли изменения статистически значимыми.

Почти невозможно сказать, как много данных отсутствует на этом сайте и насколько бесполезным при этом становится то, что там есть. Например, там есть «испытания», проиллюстрированные графиком, но нигде на сайте не говорится (по крайней мере я не нашел), сколько детей в них участвовало. Трудно представить более важную информацию в любом исследовании, чем количество участников. Зато вы можете найти там целый поток заявлений, которые были бы уместны на сайте какого-нибудь целителя, продающего чудо-лекарства. Вот, например, слова одного ребенка: «Сейчас я совсем не интересуюсь телевизором. Мне нравится читать книги. Лучшее место в мире — это библиотека. Я ее обожаю».

Я чувствую, что люди заслужили право знать, что делалось в рамках этих исследований. Это, вероятно, самое широко освещаемое клиническое испытание за последние годы, оно вызвало интерес публики, и эксперименты проводились на детях государственными служащими. Поэтому я, ссылаясь на Закон о свободе информации, попытался узнать то, что необходимо знать о любом испытании: что было сделано, кто были дети, какие измерения проводились и т. д.: фактически все из стандартизированного и очень полного руководства CONSORT, в котором отражены лучшие примеры описания клинических испытаний. Даремский совет отказался на основании того, что это дорого.

Тогда я попросил читателей колонки задать им конкретные вопросы, так чтобы ответы на эти вопросы не были связаны с затратами. Нас обвинили в попытке дискредитировать исследование. Глава совета даже пожаловался на меня в Guardian. В конце концов мне сказали, что я смогу получить ответы на свои вопросы, если лично приеду в Дарем (275 миль к северу от Лондона). Пожаловались также некоторые читатели: им сказали, что большая часть информации, которую им отказались сообщить, на самом деле не существовала.

В итоге в феврале 2008 года после разочаровывающего снижения результатов школьных экзаменов совет объявил, что у них никогда и не было намерения связывать испытания с успехами на экзаменах. Это удивило даже меня. Чтобы быть скрупулезно точным, я процитирую то, что они ответили на письменный вопрос от разгневанного директора школы на пенсии: «Как мы говорили ранее, мы никогда не собирались и совет графства никогда не планировал использовать эту инициативу, чтобы делать какие-то выводы об эффективности или, наоборот, неэффективности использования рыбьего жира для повышения экзаменационных результатов».

Сказать, что это противоречит их предыдущим заявлениям, значит ничего не сказать. В статье в Daily Mail от 5 сентября 2006 года, озаглавленной «Начато исследование рыбьего жира с целью улучшения экзаменационных результатов», Дейв Форд сказал: «Мы сможем проследить прогресс учеников и посмотреть, стали ли их баллы лучше по сравнению с тем, что прогнозировалось». Доктор Мадлен Портвуд заявила: «Предыдущие исследования уже показали замечательные результаты, и я уверена, что и здесь мы увидим явную пользу».