Интернет конференция по проблемам теории и практики управления

Название: НАУЧНЫЕ ЖУРНАЛЫ И ЭФФЕКТИВНОСТЬ НАУЧНОЙ РАБОТЫ: ПОИСКОВЫЕ СИСТЕМЫ И БАЗЫ ДАННЫХ
Автор: Александр Валентинович Хоперсков
Соавторы:
Савельева Ю.В., Хоперсков А.В.
Аннотация:
Обсуждаются проблемы применения наукометрических параметров для оценки эффективности научной работы. Проведено сравнение импакт-факторов российских журналов, рассчитанных с использованием баз данных научных поисковых систем Scopus, Web of Science, e-library. Импакт-факторы отечественных журналов в среднем в два раза ниже значений по всей выборке. Рассматриваются некоторые причины в среднем низких показателей российских журналов. Статистический анализ наукометрических величин для ученых, имеющих высокие показатели в международных библиографических и реферативных базах данных, показывает их высокий результат в системе e-library.
Ключевые слова:
наукометрические показатели, анализ распределений, корреляция, e-library, Web of Science, Scopus

Цитата

Александр Иванович Орлов пишет: Мы обсуждаем проблемы оценки эффективности научной деятельности. Индексы научного цитирования - второстепенные подсобные инструменты, хотя бы потому, что траектория развития успешного научного направления зачастую вообще минует за ненадобностью научные журналы (см. подробнее в моей статье и комментариях к ней). Те научно-технические достижения, которыми наша страна может гордиться - космический проект, атомный проект, создание самых мощных в мире грузовых самолетов "Руслан" - вообще не связаны с публикациями в журналах, просматриваемых западными библиометрическими системами.

Трудно не согласиться с уважаемым Александром Ивановичем в отношении советских научно-технических проектов и совсем небольшого числа российских, которые, очевидно, являются продолжением советских разработок («Руслан», ГЛОНАСС, военные ракеты). В таких проектах обходятся без публикации в научных журналах. Странно было бы прочитать что-то важное в журнале «Заводская лаборатория» про проект «Булава». Естественно, и про западные проекты (Манхэттенский, Лунная программа, разработки Boeing Company) в журналах из базы WoS трудно было что-то прочитать. Поэтому ссылки на наши успешные военные или технические проекты являются риторическим приемом, попыткой закрыть глаза на системные проблемы нашей современной науки. Причем, по-видимому, проблемы в большей степени касаются технических разделов, чем фундаментальных. Фундаментальная наука находится в чуть более лучшем положении из-за большей вовлеченности в международные проекты, большего присутствия российских ученых в «западных» университетах и научных институтах при сохранении контактов с учеными, работающими в РФ.

Понимание, что простая наукометрика (индекс цитирования, импакт-фактор журнала, H-индекс) является плохим инструментом для измерения эффективности научной работы, имеется во всех странах (в той или иной мере). Великая до середины 20 века немецкая наука существенно снизила (точнее не восстановила) свой потенциал в том числе из-за перехода на американскую грантовую систему, которая основана в первую очередь на публикациях в журналах. Например, в Австралии научная общественность озабочена снижением своей науки и есть понимание, что причины связаны с использованием обсуждаемых наукометрических показателей.

К несчастью, у нас в стране проблемы другого уровня. Речь не идет о «замедлении темпов роста и снижении эффективности», как в Германии или Австралии. Речь идет о задаче сохранения кадровой базы на минимальном уровне, который бы позволил в каком-то обозримом будущем восстановить нашу науку. Без БОЛЬШИХ ПРОЕКТОВ нет науки, а проектов нет. Пока нет. На форуме упоминался «Руслан», вот последние сообщения:
http://www.rg.ru/2012/08/27/reg-pfo/ruslan.html
http://m.lenta.ru/news/2013/01/16/an124/
http://www.poletim.net/news/vosstanov...yagivaetsy

Внедрение количественных параметров для оценки научной работы необходимо при всех недостатках этой системы, о которых участники форума сказали много справедливых слов. Лучше считать статьи, чем воспоминания о прошедшем величии (Аннушка масло уже купила, причем не только купила, но и пролила).
Показатели должны быть простые, доступные из систем Scopus/WoS/РИНЦ.
Формирование вначале целей реформы – трудно с этим спорить. Боюсь только, к моменту выработки организационно-управленческих решений исчезнет объект управления.

Цитата

Михаил Владимирович Губко пишет: Жизнь ускоряется. Если у кого-то есть хорошие результаты, они доложены на конференциях, оформлены в виде препринта, и я хочу сослаться на них - я сошлюсь на препринт, и не буду ждать три года, пока выйдет статья. И моя статья в ПУ выйдет быстрее, чем выйдет статья с результатами, на которые я ссылаюсь. Я несколько раз ссылался на препринты, так и не ставшие статьей. Был случай, когда я ссылался на диссертацию одной голландской коллеги, в обзоре которой она ввела удачную классификацию. Не уверен, что она эту классификацию опубликовала впоследствии.

Михаил Владимирович, полностью согласен, что можно и нужно ссылаться на препринты, но это не должно иметь массового характера.
Может представлять интерес более чем 20-летний опыт работы системы ADS http://adsabs.harvard.edu/abstract_service.html
которая индексирует физические и астрофизические журналы совместно с системой публикации электронных препринтов
http://arxiv.org/

Все эти журналы не возражают, если автор свою работу публикует в arXiv.org до публикации в журнале. Более того, способствуют этому. Сразу после положительного решения редакции многих журналов предлагают помощь в размещении статьи в виде препринта, таким образом, читатель знакомится с работой на несколько месяцев раньше официального выхода. После появления выходных данных статьи в журнале ADS-система автоматически объединяет препринт и журнальную статью в виде единой ссылки.

Практика показывает, что какая-то заметная доля препринтов так и не находит себе «хозяина» в виде журнала, хотя на такие электронные препринты цитируемость также считается в ADS-системе.

Использование сложных, комбинированных количественных критериев оценки научной работы, очевидно, может дать более «точный» результат. Например, введение в формулу (1) (статья Оценка вклада научных работников методом порогового агрегирования) импакт-фактора журнала IF учитывает в какой-то степени «качество» научной работы. Обсудим практическую возможность учета IF в реальной ситуации. IF – динамическая величина, изменяющаяся ежегодно, причем, в силу жесткости определения IF эта величина может сильно варьироваться. Предыдущий «провальный» год может понизить IF до 2 раз.

Где брать IF(t)?

1) В мире под IF понимают данные ISI, которые ежегодно публикуются в журнале Journal Citation Report. Отдельного сервиса в системе Web of Science, который позволял бы легко привязать значение IF к статье в год выхода данной статьи нет. Разумеется, это можно сделать вручную, и многие зарубежные коллеги на своих веб-страницах это делают. Но нам нужна независимая система. Возможности «попросить» Thomson Scientific создать такой сервис у нас нет. Практически все международные журналы на своих сайтах указывают последний IF и очень редко динамику за последние годы (если она положительная). Кстати, интересно посмотреть инфляцию IF на больших промежутках времени из-за роста числа публикаций в целом и практики увеличения списка литературы.

К тому же, системы WoS/Scopus нас устроить не могут, поскольку они позволят оценить в пределах 2-10% от общего числа российских научных работников. Даже, если это характеризует истинное положение дел, то научное сообщество с этим не согласится, а без критической массы делать ничего нельзя.

2) У нас есть система elibrary, которая публикует IF_РИНЦ за 2008, 2009, 2010, 2011 годы. Возможность создать дополнительный сервис в elibrary имеется, без особых проблем можно дополнить сервис автоматическим расчетом по формуле типа (1). Однако:
а) Глубина IF_РИНЦ по годам ничтожна.
б) Реальный IF_РИНЦ может меняться – это отличительная особенность elibrary по сравнению с ISI или Scopus. Сервис elibrary – открытая система, которая постоянно пополняется работами, вышедшими в прошлые годы.
в) В отличие от WoS/Scopus система elibrary учитывает цитируемость монографий и даже учебников. Это, на мой взгляд, неправильно, но изменить сложившуюся ситуацию по определению цитируемости вряд ли удастся из-за доминирования гуманитарных направлений.

Этим я хотел бы только обратить внимание на наличие/отсутствие инструментов для внедрения более сложных параметров оценки научной работы.