Прикрепляю полученную от П.Ю. Чеботарева сводку об
использования британского опыта экспертизы эффективности научной деятельности.
Помещаю здесь текст письма А.ГН Паршина и упомянутую сводку.
В Президиум РАН
X В Совет директоров институтов РАН
X В Отделения РАН
X Директорам институтов РАН
Глубокоуважаемые коллеги !
В настоящее время, по требованию Минобрнауки, члены диссертаци-онных советов научных организаций вынуждены заполнять анкеты о своей научной деятельности, состоящие из формальных численных данных и со-держащие, в частности, библиометрические показатели. К ним относятся: число публикаций, индекс цитирования, индекс Хирша по системам WoS/РИНЦ, грубо искажающим реальное положение в российской науке (по крайней мере, в математике). Эти показатели будут определять судьбу как отдельных членов советов, так и советов в целом. Одновременно на-учные организации должны представить (до 15 октября с.г.) данные о ре-зультативности своей научной деятельности, также состоящие из фор-мальных численных показателей. К ним относится импакт-фактор журна-лов, в которых опубликованы работы научных сотрудников. В дальней-шем, эти данные могут быть использованы созданным Федеральным аген-ством научных организаций для оценки деятельности институтов РАН.
Указанному требованию Минобрнауки (МОН) предшествовали сле-дующие мероприятия МОН по оценке научной деятельности.
В 2012 году Минобрнауки объявило конкурс по теме "Формирование системы оценки и мониторинга результатов научно-исследовательской деятельности организаций и ученых для регулярной оценки состояния сферы науки", который выиграла не имеющая отношения к научной сфе-ре консалтинговая и аудиторская фирма Price Waterhouse Coopers Russia, которая ранее не занималась вопросами, связанными с оценкой научной деятельности. Сумма контракта составила 100 млн. рублей (
http://contests-mon.informika.ru/lot/9641/ ). Насколько нам известно, удовлетворительных результатов достигнуто не было и контракт был расторгнут.
В августе 2013 г. в Российскую Академию наук (наряду с другими ведомствами) поступил проект приказа МОН, включающий «Типовую методику оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и тех-нологические работы гражданского назначения». Данный документ пред-полагает оценку результативности деятельности научных организаций на основе 70 численных показателей (единицы измерения: штуки, рубли и люди).
Значительное место здесь занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор журналов, в ко-торых публикуются исследователи).
Как стало известно после заседания Совета по науке при Минобр-науки РФ, состоявшегося 10 сентября 2013 г., МОН планирует использо-вать такие подходы для оценки научной деятельности институтов РАН. Не исключено, что эти данные будут использованы для резкого (в несколько раз) сокращения численности научных сотрудников.
Неоднократно представители Минобрнауки РФ делали заявления, что имеющиеся в нашей стране процедуры оценки научной деятельности архаичны и несовременны и что необходимо использовать передовой за-рубежной опыт развитых стран.
Мы хотим обратить ваше внимание, что как раз зарубежный опыт и был полностью проигнорирован при составлении данной методики. В настоящее время в Великобритании происходит оценка деятельности всех научных организаций за период c 1 января 2008-го по 31 июля 2013 г. Со-ответствующие правила (Research Excellence Framework) были размещены на сайте www.ref.ac.uk в 2012 г. после длительного общественного об-суждения и учета многих предложений. Научные организации должны представить требуемые данные (большей частью избранные публикации) в течении 1 года после появления окончательной версии этого документа. Оценка представленных работ будет произведена комиссиями по 36 науч-ным дисциплинам.
Основным методом оценки является экспертиза привлекаемыми специалистами. Библиометрические данные разрешается использовать (и то лишь в качестве вспомогательного средства) только в 11 дисциплинах (науки о земле, физика, химия, биология, медицина, экономика и ряд других) и запрещается использовать в 25 дисциплинах (математика, механи-ка, инженерные науки и все гуманитарные науки). Там, где использование таких данных разрешено, они не могут служить основным показателем для определения научной значимости работы. Для всех дисциплин запрещено использовать какие-либо рейтинги журналов, где опубликованы ра-боты, и прежде всего импакт-фактор журнала.
Последнее правило введено Научным Cоветом (Higher Education Funding Council of England), осуществляющим всю процедуру оценки, по требованию Комитета по науке и технологиям Палаты Общин британско-го парламента, сделанному в июле 2004 г. (
http://www.publications. parlia-ment.uk/pa/cm200304/cmselect/cmsctech/399/39912.htm ).
Помимо Великобритании имеется многих других стран, где ограни-чивается использование формальных численных показателей при оценке научной деятельности.
Заметим, что все данные о работе британской системы оценки находятся в открытом доступе в сети Интернет и Минобрнауки не составляло никакого труда их учесть.
Поскольку этого не произошло, мы вынуждены констатировать, что сотрудники Министерства образования и науки не обладают достаточной квалификацией для проведения научной политики, не обладают информа-цией о мировом опыте использования формальных показателей оценки на-учной деятельности, предвзято относятся к сформированной научной культуре экспертных оценок деятельности ученых, что не позволяет им качественно выполнять свои служебные обязанности.
Хочется думать, что подобная деятельность Министерства образова-ния и науки является лишь доказательством его крайней некомпетентно-сти, а не намеренного сокрытия важной информации от научной общест-венности и от руководства страны. Формируемая таким образом государ-ственная научная политика наносит очевидный ущерб Российской Феде-рации.
Я считаю, что, учитывая такой крайне отрицательный опыт взаимо-действия с исполнительными органами власти, Российская Академия на-ук должна немедленно исполнить свою экспертную функцию и заявить о подлинно научном подходе к методам оценки научной деятельности, привлекая для этого и реальный международный опыт.
2 октября 2013 г
А.Н. Паршин
академик РАН,
Зав. отделом алгебры и теории чисел
Математического института им. В. А. Стеклова РАН,
Председатель Диссертационного совета Д 002.022.03
при МИАН по специальностям 01.01.04(геометрия и топология) и
01.01.06 (математическая логика, алгебра и теория чисел)
Великобритания
ПРОГРАММА ОЦЕНКИ ИССЛЕДОВАТЕЛЬСКОГО ПОТЕНЦИАЛА
(Research Excellence Framework, 107 стр. www.ref.ac.uk, перевод всех фрагментов, относящихся к библиометрике)
КРИТЕРИИ И МЕТОДЫ РАБОТЫ КОМИССИЙ
Резюме (pp. 1-2)
Цели
1. В документе разработаны критерии оценки и подходы, которых
следует придерживаться центральным комиссиям и их подкомиссиям в рамках Программы Оценки Исследовательсткого Потенциала (REF) 2014.
2. Окончательная редакция критериев и подходов, устанавливаемых настоящим документом была выработана с учетом реакции на ‘Обсуждение критериев в и подходов экспертных комиссий’ (REF 03.2011), поступившей в июле-октябре 2011. Поправки были, в частности, внесены в ‘Общие принципы оценки и руководство по представлению результатов (submission of outputs)’ (REF 02.2011).
3. Таким образом, настоящий документом следует руководствоваться
параллельно с REF 02.2011. В совокупности, эти два положения дают
исчерпывающее описание информации, которая должна быть представлена в
заявках и подходов экспертных комиссий к оценке заявок.
Ключевые моменты
4. REF является процедурой экспертной оценки. Экспертные подкомиссии
по каждой из 36 направлений будут проводить аттестацию под руководством и в соответствии с указаниями четырех центральных комиссий.
5. Вузам Великобритании предлагается представить результаты к 29 ноября 2013г. Центральные комиссии и подкомиссии REF проведут их экспертизу в течение 2014г., и в декабре 2014 решения будут опубликованы.
Начиная с периода 2015-16гг., эти решения будут иметь определяющее значение для выделения финансирования на исследовательскую работу структурами, финансирующими британское высшее образование.
6. В части 1 настоящего документа устанавливаются критерии и подходы к работе для всех комиссий. Часть 2 детализирует эти критерии для каждой из четырех центральныхкомиссий.
Необходимые действия
7. Настоящий документ служит целям информирования и приготовления организаций к сбору и подготовке данных, включаемых в представления. На данном этапе от ВУЗов не требуется предпринимать какие-либо действия.
Дальнейшая информация
8. Для более подробной информции касательно REF см.
www.ref.ac.uk.
9. Работники британских ВУЗов могут направить вопросы контактным персонам в REF. Соотвествующие контакты по каждой организации можно найти на сайте www.ref.ac.uk, в разделе Contact.
10. Прочие вопросы следует адресовать на info@ref.ac.uk.
Часть 1
Общая характеристика критериев оценки и подходов
Использование дополнительной информации и данных по цитируемости (pp. 7-
50. Во всех дисциплинах комиссии оценивают представленные результаты
путем экспертной оценки. При этом они могут использовать дополнительные данные, представленные ВУЗами в заявках и/или данные цитирования (citation data) для выработки своих решений. В любом случае основным методом аттестации остается экспертная оценка.
В части 2 содержатся предписания для комиссий относительно того
a. следует ли им вообще пользоваться данными цитирования в процессе оценки,
b. нуждаются ли они в дополнительной информации одного из типов, описанных в `руководстве по заполнению заявок' (пункт 127) (в приложении А приводятся сводные требования четырех центральных
комиссий к дополнительной информации такого рода),
c. каким образом эта информация может влиять на их решения.
51. Комиссии, использующие данные цитирования, руководствуются при этом порядком, изложенным в `руководстве по заполнению аттестационных форм' (пункты 131-136). В частности, они будут трактовать число ссылок на представленный результат как дополнительную информацию касательно его научного значения. При оценке представленных результатов комиссии рассматривают экспертные оценки как основной инструмент, позволяющий придти к взвешенному суждению по полному спектру критериев оценки (`оригинальность, важность и строгость'). Они должны также учитывать, в соответствующих случаях, то значение, которое представленные результаты могут иметь за рамками научно-образовательного сообщества и должны оценивать все представленные результаты на общих основаниях, независимо от наличия данных по цитируемости. Они также должны учитывать ограниченную важность показателя цитируемости для недавних публикаций, различные традиции цитирования в разных областях исследования, возможность `негативного цитирования', и ограниченное значение подобной информации для публикаций на языках отличных от английского.
Комиссии должны отдавать себе отчет, что использование цитируемости в качестве дополнительной информации может иметь последствия для реализации принципа равного подхода.
52.Ввиду ограниченного значения цитируемости для процедуры оценки, финансирующие структуры не призывают и не рекомендуют ВУЗам основываться на данных цитирования при отборе персоналий или результатов для включения в представления (см. ‘руководство по заполнению представлений’, пункт 136).
53. Комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов.
Часть 2A
Критерии центральной комиссии A (p.19)
Центральная комиссия A включает в себя следующие подкомиссии:
1 Клиническая медицина
2 Санитария и гигиена, Организация здравоохранения, Первая помощь
3 Вспомогательные медицинские профессии, Стоматология, Уход за больными, Фармацевтика
4 Психология, Психиатрия, Неврология
5 Биологические науки
6 Сельское хозяйство, Ветеринария, Диетология
В нижеследующих разделах устанавливаются критерии, которые центральная комиссия А и ее подкомиссии должна применять при оценке предсавлений. Эти критерии следует использовать параллельно с указаниями из REF 02.2011 ‘Общие принципы оценки и руководство по представлениям (submissions) ' (ниже называемом ‘руководством по представлениям ’) и общими формулировками критериев и подходов, данными в Части 1 настоящего положения.
Раздел A2: Критерии оценки представленных результатов
Данные цитирования (p. 25)
52. В соответствии с ‘руководством по представлениям’ (пункты
133-136), подкомиссии центральной комиссии А используют показатели цитируемости, при их наличии и в случае уместности их использования, как показатель научной значимости, для выработки оценки уровня представленных результатов.
53. При наличии данных в библиографической базе данных Scopus персонал REF предоставит комиссиям подсчеты цитируемости по представленным результатам к установленному сроку, в стандартном формате. Подкомиссии также получат сопроводительную информацию по каждой из дисциплин относительно уровней цитируемости за каждый год аттестационного периода, чтобы способствовать, при необходимости, правильной интерпретации данных цитирования.
54. Данные цитирования должны помочь выработке оценок в следующих отношениях:
a.В случае их наличия, при необходимости, данные цитирования будут рассматриваться как позитивный показатель научной значимости результатов исследования. Они будут лишь одним из составляющих элементов для выработки рецензентами оценок уровня представленных результатов и не будут использоваться как основной параметр для оценки.
b. Подкомиссии исходят из того, что число цитирований иногда (но не всегда) является значимым индикатором. Они также сознают, что такого рода данные могут отсутствовать и что уровень цитируемости может меняться в зависимости от дисциплины.
Подкомиссии должны принимать во внимание, что для некоторых типов результатов (к примеру, относящихся к прикладным разработкам) и для свежих публикаций данные цитирования не обязательно являются значимым индикатором. Подкомиссии также должны обратить внимание на возможные последствия для принципа равных возможностей от использования индексов цитирования.
c. Подкомиссии используют только данные цитирования, предоставляемые персоналом REF и не будут учитывать других данных библиометрического анализа, в том числе импакт-факторы журналов
Часть 2B
Критерии центральной комиссии B (p. 38)
Центральная комиссия B включает в себя следующие подкомиссии:
7 Науки о Земле и окружающей среде
8 Химия
9 Физика
10 Математические науки
11 Вычислительная техника и информатика
12 Авиастроение, Машиностроение, Химические и промышленные технологии
13 Электротехника и электроника, Металлургия, материаловедение
14 Строительство
15 Общеинженерные дисциплины
В нижеследующих разделах устанавливаются критерии, которые центральная комиссия А и ее подкомиссии должны применять при оценке зпредставлений. Их следует использовать параллельно с указаниями из REF 02.2011 ‘Общие принципы оценки и руководство по представлениям' (ниже называемом ‘руководством по представлениям’) и общими формулировками критериев и подходов, данными в Части 1 настоящего положения.
Раздел B2: Критерии оценки представленных результатов
Формы представления результатов (p.43)
31. Оценки представления результатов во всех формах будут даны на общих основаниях, не делая различий ни между типами представленных результатов, ни между публикациями, доступными в электронной или физической форме.
32. Комиссия готова рассматривать результаты, представленные во всевозможных формах, в том числе
• книги, главы из книг, монографии
• доклады и публикации в материалах конференций
• новые материалы, устройства, продукты или
• патенты
• статьи в рецензируемых журналах
• компьютерные программы и алгоритмы
• нормативная документации
• технические отчеты, в том числе с грифом секретности
Данные цитирования (p. 45-46)
59.Подкомиссии 7, 8, 9 и 11 отмечают, что данные цитирования широко используются в соответствующих дисциплинах и полагают, что эта практика является общепринятой.
Эти подкомиссии будут использовать доступные им данные цитирования, в качестве одного из показателей научной значимости при выработке оценок уровня исследований.
60.При доступности соответствующей информации на библиографической базе данных Scopus персонал REF предоставит комиссиям подсчеты цитирований результатов исследований, представленных в подкомиссии, упомянутые в пункте 59, к установленному сроку, в стандартном формате. Подкомиссии также получат сопроводительную информацию по каждой из дисциплин относительно уровней цитируемости за каждый год аттестационного периода, чтобы помочь, при необходимости, правильной интерпретации данных цитирования.
61. В дополнение к данным цитирования, полученным от персонала REF, подкомиссия 11 также планирует использование Google Scholar в качестве дополнительного источника данных цитирования. Подкомиссия 11 будет систематически обращаться к Google Scholar за данными цитирования, которые большей частью будут использоваться в случаях, когда результаты исследования широко цитировались за рамками корпуса источников, охваченных поисковиком Scopus6.
62. Что касается подкомиссий, упомянутых в пункте 59, данные цитирования должны помочь выработке их оценки в следующих отношениях:
a.В случае их наличия данные цитирования будут, при необходимости, составной частью процедуры оценки в том, что касается научной значимости результатов исследования. Они будут лишь одной из составных частей при оценки рецензентами уровня представленных результатов и не будут использоваться как основной параметр оценки.
b. Отсутствие данных цитирования не будет автоматически интерпретироваться как отсутствие научной значимости.
c. Подкомиссии должны принимать во внимание, что для некоторых типов результатов (к примеру, относящихся к прикладным разработкам) и для свежих публикаций данные цитирования не обязательно являются значимым индикатором. Подкомиссии также должны обратить внимание на возможные последствия использования индексов цитирования для принципа равных возможностей.
d.За исключением обращения подкомиссии 11 к Google Scholar, подкомиссии используют только данные цитирования, предоставляемые персоналом REF и не будут учитывать другие данные библиометрического анализа, в том числе, импакт-факторы журналов.
63. Подкомиссии 10, 12, 13, 14 и 15 считают, что сводка данных цитирования в их дисциплинах неравномерна по качеству и нередко содержит пробелы и потому не позволяет получить сбалансированную и надежную дополнительную информацию для выработки оценки уровня исследований. Поэтому они не получат в свое распоряжение и не будут использовать данные цитирования или другую библиометрическую информацию, в том числе импакт-факторы журналов.
Часть 2C
Критерии центральной комиссии C (p. 58)
Центральная комиссия C включает в себя следующие подкомиссии:
16 Архитектура, Градостроительство, Ландшафтный дизайн
17 География, Охрана окружающей среды, Археология
18 Экономика и Эконометрика
19 Исследования по бизнесу и менеджменту
20 Право
21 Политика и международная политика
22 Социальная защита и социальная политика
23 Социология
24 Антропология, Социология развития
25Образование
26 Физкультура и спорт, Досуг, Туризм
В нижеследующих разделах устанавливаются критерии, которые центральная комиссия C и ее подкомиссии должна применять при оценке представлений. Их следует использовать параллельно с указаниями из
REF 02.2011, ‘Общие принципы оценки и руководство по представлениям
' (ниже называемом ‘руководством по представлениям’) и общими
формулировками критериев и подходов, данными в Части 1 настоящего документа.
Раздел C2: Критерии оценки представленных результатов
Дополнительная информация о результатах исследований
Данные цитирования (p. 66)
64. Подкомиссии 16, 17, 19, 20, 21, 22, 23, 24, 25 и 26 не получат в свое распоряжение и не будут использовать данные цитирования или другие типы библиометрического анализа, включая импакт-факторы журналов.
65. Подкомиссии 18 (Экономика и эконометрика) будут предоставлены доступные данные цитирования и она будет использовать их при необходимости.
66. При доступности соответствующей информации на библиографической базе данных Scopus персонал REF предоставит подкомиссии 18 подсчеты цитирований результатов исследований, представленных в подкомиссию, к установленному сроку, в стандартном формате. Подкомиссия 18 также получит сопроводительную информацию относительно уровней цитируемости за каждый год аттестационного периода, чтобы достичь, при необходимости, правильной интерпретации данных цитирования.
67. При выработке оценок подкомиссия 18 будет использовать данные цитирования следующим образом:
a.данные цитирования будут использоваться не как основной параметр оценки, а как дополнительная информация (если в таковой есть необходимость) о научной значимости результатов исследований. Подкомиссия 18 будет давать взвешенные оценки уровня исследований, принимая во внимание весь спектр критериев оценки (оригинальность, важность и строгость).
b. Отсутствие данных цитирования конкретного исследования не будет сказываться на его оценке.
c. Подкомиссия 18 исходит из того, что для некоторых форм представления результатов (к примеру, специальные монографии или некоторые формы представления прикладных исследований), и особенно для совсем свежих результатов данные цитирования могут быть недоступны или оказаться совершенно незначимым показателем. Подкомиссия 18 также должна обратить внимание на возможные последствия от использования индексов цитирования для принципа равных возможностей.
d. Подкомиссия будет использовать только данные цитирования, предоставляемые персоналом ПА и не будет учитывать другие данные библиометрического анализа, в том числе импакт-факторы журналов
Часть 2D
Критерии центральной комиссии D (p. 78)
Центральная комиссия D включает в себя следующие подкомиссии:
27 Региональные исследования
28 Современные языки и литература
29 Английский язык и литература
30 История
31 Классическая филология
32 Философия
33 Теология, Религиоведение
34 Искусство и Дизайн: история, практика и теория
35 Музыка, Драматическое искусство, Танец и другие виды театрального искусства
36 Коммуникационные исследования, Культурология, Медиаведение, Библиотечное дело, Информационный менеджмент
Раздел D2: Критерии оценки представленных результатов
Данные цитирования и библиографические параметры (p. 87)
74. Подкомиссиям центральной комиссии D не будут предоставляться и они не будут использовать данные цитирования или какую-либо библиометрическую информацию для выработки оценок.
75. При оценке уровня исследований подкомиссии центральной комиссии D не будут отдавать предпочтение тому или иному рейтингу или перечню журналов или конференций, подразумеваемой репутации издателя или носителя (medium) публикации, или месту обнародования результатов. Однако если результаты исследований привязаны к месту и их расположение существенно для понимания исследований, то эта информация должна быть представлена в соответствии с указаниями в пункте 71b.
Интернет конференция по проблемам теории и практики управления