Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений - Коллектив авторов

Индикаторы процессов сосредоточены на оценке внутренних мероприятий и действий, таких как проведение семинаров и конференций, приглашения международных признанных ученых и академических деятелей, участие в зарубежных конференциях и других (табл. 8).

Таблица 8

Индикаторы процессов Систем финансирования исследований на основе оценки эффективности – PBRFs

Индикаторы структуры могут быть сосредоточены на внутренних аспектах, таких как доля академических работников, занятых в исследованиях или исследовательской инфраструктуре, или на внешних аспектах, таких как сотрудничество, репутация и уважение в среде коллег (табл. 9). Возможности для сравнения значений структурных индикаторов для разных дисциплин и областей исследования ограничены вследствие различий в средствах и методах сотрудничества.

Таблица 9

Индикаторы структуры Систем финансирования исследований на основе оценки эффективности – PBRFs

Важные результирующие индикаторы в части выходных индикаторов представлены в табл. 10, а в части индикаторов эффекта – в табл. 11.

Таблица 10

Индикаторы результатов Систем финансирования исследований на основе оценки эффективности – PBRFs

Результаты на выходе могут быть измерены на основе числа публикаций, небиблиографических итогов деятельности, выпуска докторов философии (PhD) и различных видов общественных мероприятий. Публикации важны для развития исследований, но характеристики публикаций отличаются в разных областях исследований и дисциплинах. Обычно при оценке публикационной активности акцент делается на рецензируемых публикациях, поскольку рецензирование предполагает обеспечение определенного уровня качества. В таких областях, как общественные и гуманитарные науки, различие между долей национальных и международных публикаций может быть существенным. Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.

Таблица 11

Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs

Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.

В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17].

Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].

Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.

В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19].

Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.

Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.

Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные различия в числе цитирований статей по отдельным темам. И даже в журналах с высокими импакт-факторами некоторые статьи либо имеют мало, либо не имеют цитирований. Поэтому импакт-фактор не должен механически использоваться для оценки эффективности деятельности исследователей или исследовательских групп.

Индекс Хирша показывает число статей, опубликованных исследователями, у которых есть число цитирований, равное или выше, чем количество статей. Значение индекса Хирша на уровне 20 говорит о том, что исследователь имеет 20 публикаций, каждая из которых была процитирована, по крайней мере, 20 раз. Индекс Хирша был разработан с учетом ограничений других показателей цитируемости. Например, у менее значимого исследователя может быть высокое общее количество цитирований, поскольку он опубликовал «прорывную» статью совместно с другими исследователями. Тем не менее, достичь высокого значения индекса Хирша возможно, имея непрерывный поток публикаций в течение ряда лет. Это означает, что применение индекса Хирша к исследовательской деятельности имеет смысл после 12–15 лет проведения исследований. Кроме того, индекс Хирша зависит от количества лет занятости исследовательской работой, области исследований и сотрудничества в академической сфере. Поэтому индекс Хирша в полной мере не решает проблему сравнительных оценок.