Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

как нельзя ожидать, что заработок большинства людей, встреченных вами в той или иной стране, равен среднему для этой страны доходу.

Тем не менее в нынешней системе чем больше импакт-фактор журнала, тем лучше для его репутации. Большинство журналов издается коммерческими компаниями, такими как Elsevier и Springer, поэтому неудивительно, что редакторы могут оказаться под сильным давлением со стороны издателей, заставляющих повышать импакт-фактор – даже в нарушение правил научной этики. Некоторые редакторы используют трюк Стернберга, набивая свои редакционные статьи ссылками, которые “по случайному совпадению” ведут только к работам, опубликованным в этом же самом журнале, причем только к тем, что вышли за последние два года, ведь ежегодный перерасчет импакт-фактора не учитывает публикации старше[665]. Какие-то редакторы действуют подобно рецензентам, которых мы обсуждали выше: склоняют авторов к так называемому принудительному цитированию, то есть во время рецензирования требуют, чтобы те сослались на целый перечень статей, ранее опубликованных в этом журнале, независимо от того, имеют те работы непосредственное отношение к данной или нет. В одном опросе около 20 % ученых заявили, что такое с ними происходило[666].

Бывает даже, что редакторы создают “картели цитирования”, где между несколькими разными журналами заключаются тайные соглашения о цитировании статей. Один вопиющий случай раскрыл в 2012 году специалист по издательскому делу Фил Дэвис, и из его рассказа о том, как он следовал по тропе цитирований вниз по извилистой кроличьей норе, стоит привести объемную выдержку:

В 2010 году в журнале Medical Science Monitor вышла обзорная статья, содержащая 490 ссылок, причем 445 из них – на статьи, опубликованные в журнале Cell Transplantation. Все 445 ссылок вели к работам, вышедшим в 2008 или 2009 годах… Из оставшихся 45 ссылок 44 вели к статьям из журнала Medical Science Monitor, опять же опубликованным в 2008 и 2009 годах.

Трое из четырех авторов этой статьи входят в состав редакционной коллегии журнала Cell Transplantation. <…>

В том же 2010 году двое из этих редакторов также опубликовали обзорную статью в The Scientific World Journal со ссылками на 124 работы, 96 из которых были опубликованы в журнале Cell Transplantation в 2008 и 2009 годах. Из оставшихся 28 ссылок 26 вели к статьям, опубликованным в The Scientific World Journal в 2008 и 2009 годах. Прослеживается закономерность[667].

В свете растущего числа картелей цитирования компания Thomson Reuters, которая рассчитывает импакт-факторы, начала исключать определенные журналы из своих рейтингов из-за их практики “аномального цитирования”[668].

Таким образом, как и с количеством публикаций и индексом Хирша, с импакт-фактором тоже можно мухлевать. И как только ученые начинают за счет самоцитирования, принудительного цитирования и других подозрительных методов искусственно раздувать подобные показатели, те перестают быть мерилами научного качества. Они начинают меньше говорить о том, какие ученые и какие журналы лучшие, и больше о том, какие из них наиболее целенаправленно работают над повышением своих показателей. Закон Гудхарта налицо: “Когда мера становится целью, она перестает быть хорошей мерой”[669]. Как мы видим, эти меры в нашей современной научной культуре превратились, по сути, в явные цели, вызвав непредвиденные последствия – создав систему порочных стимулов, которая поощряет бессмысленные показатели и дутые рейтинги, а не воспроизводимость, строгость и подлинный научный прогресс.

Особенно обескураживает то, что люди, запутавшиеся в этих дебрях бесполезных цифр, – ученые, ведь предполагается, что именно они лучше других разбираются в статистике и наиболее критичны к злоупотреблениям ею. И все же каким-то образом оказывается, что они работают в системе, где эти пустые и вводящие в заблуждение показатели ценятся превыше всего. Поначалу кажется, что с научной точки зрения удобно иметь числа, которые помогают количественно оценить вклад ученого или журнала; в конце концов, объективная количественная оценка – это одна из уникальных сильных сторон науки. Но, как гласит закон Гудхарта, чуть только вы начинаете гнаться за самими цифрами, а не за стоящими за ними принципами – в данном случае за принципом провести исследование, которое существенно увеличит наше общее знание, – вы совершенно сбиваетесь с пути. Тот факт, что одержимость этими показателями не только является уделом отдельных ученых, борющихся за статус, а вплетена в саму ткань как университетской, так и публикационной системы, еще раз подтверждает, насколько очевидно научная система не справляется со своей главной задачей.

На страницах этой книги мы обсуждали множество факторов, ведущих к плохим исследованиям. Есть ученые, которые так жаждут почувствовать, что принесли пользу, и настолько обманываются своими собственными теориями, что прибегают к мошенничеству или р-хакингу ради устранения любых беспокоящих неясностей. Есть ученые, которыми движет в первую очередь страсть к деньгам, престижу, власти или славе и которым на истину, как и любому шарлатану, плевать. Есть ученые слишком занятые или задерганные, чтобы проверять, нет ли в их работе ошибок. Есть те, кто не хотят подвергать сомнению когда-то полученные знания и продолжают использовать старые ошибочные методы. Правильно ли считать систему научных публикаций некой ур-проблемой[670], лежащей в основе всего перечисленного? Вправе ли мы сказать, что порочные стимулы, созданные приоритизацией публикаций, цитирований и грантовых денег, непосредственно привели к мошенничеству, предвзятости, недобросовестности и хайпу?

Нам никогда не узнать наверняка, что совершается в голове у ученого, когда он применяет один из тех сомнительных методов, которые мы рассматривали в предыдущих главах. Но мы можем попытаться вывести наилучшее объяснение. Ученые – люди, а люди реагируют на стимулы. Обсуждавшиеся нами проблемы в науке так широко распространены во всем мире и во всех научных областях, что они должны иметь объяснение на уровне научной культуры в целом; мы говорим не просто о нескольких паршивых овцах, разрушающих науку для всех остальных. Когда мы видим общие тенденции в научной практике последних десятилетий – экспоненциальный рост количества статей, сильный академический отбор по публикациям, цитированиям, индексам Хирша и грантам, одержимость импакт-факторами и новыми захватывающими результатами и возникновение таких явлений, как хищнические журналы, которые, конечно же, просто удовлетворяют спрос, – разве не странно было бы при этом не наблюдать подобного плохого поведения со стороны ученых? Хотя нам не стоит прекращать поиски других объяснений – возможно, например, что проблема кроется скорее в контролировании системы, а не в самих стимулах, – предположение, согласно которому именно стимулы, связанные с публикациями, ведут к деградации науки, довольно неплохо объясняет то состояние, в коем мы оказались. Во всяком случае, мы можем сказать, что такой мотив подходит ко всем преступлениям.

Чрезвычайно трудно провести метанаучный эксперимент над всей системой, учитывая, что он должен