|
|
 Интернет конференция по проблемам теории и практики управления
На этом форуме обсуждаются научные публикации, связанные с применением математических моделей в управлении сложными (большими) системами. Для размещения новой публикации воспользуйтесь ссылкой "Подать статью" сверху. С помощью той же ссылки подаются статьи для публикации в Сборнике "Управление большими системами". Все подаваемые в Сборник статьи автоматически публикуются в этой Интернет-конференции, но можно подать статью в Конференции, не подавая ее в Сборник.
Появление статьи в Интернет-конференции не говорит о том, что она опубликована или будет опубликована в Сборнике "Управление большими системами". Статьи в Интернет-конференции публикуются в первоначальной авторской редакции. Изменения, вносимые в статью редколлегией Сборника в процессе ее рассмотрения, не отображаются автоматически в Интернет-конференции. Авторы статей могут внести соответствующие изменения вручную, разместив ответ на сообщение со своей статьей в Интернет-конференции.
Cообщений: 230
Регистрация: 26.03.2010
|
Именно так: японец опубликовал свою статью в японском журнале "на РУССКОМ языке".
Рецензировал, очевидно, другой японец.
И в настоящее время русский язык рассматривается как язык межнационального общения. Например, как основной теоретический доклад в Ташкенте был поставлен мой доклад на русском языке:
Орлов А.И. Новая парадигма математической статистики // Материалы республиканской научно-практической конференции «Статистика и её применения – 2012». Под редакцией профессора А.А. Абдушукурова. – Ташкент: НУУз, 2012. – С.21-36.
В сборнике конференции половина докладов - на русском языке, одна треть - на узбекском, одна шестая часть - на английском.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Дорогой Павел Юрьевич, статья японца, в которой были получены два значения для одного предела, была опубликована в японском журнале и прислана мне для реферирования из американского математического журнала "Мathematical Review" во второй половине 1970-х годов.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Спасибо, уважаемые коллеги.
Широко доступными стали важные публикации.
В книге Налимова и Мульченко (1969) для нашей дискуссии весьма актуальны:
Гл.5, п. 5 "Оценка эффективности труда ученого и научного коллектива".
Гл.7, п.7. Причины низкой цитируемости отечественных работ.
Гл.10. Заключение. Использование идей и методов наукометрии при управлении процессом развития науки.
Библиографическое описание второго сборника:
| Цитата |
|---|
Игра в цыфирь, или как теперь оценивают труд ученого
(cборник статей о библиометрике). –– М.: МЦНМО, 2011. ––
72 с.: ил.
ISBN 978-5-94057-771-3
Настоящий сборник содержит статьи математиков, статистиков и био-
логов, содержащие критическую оценку широко распространенных теперь
библиометрических методов оценки научной деятельности. Авторы пока-
зывают, к каким неверным выводам может приводить использование та-
ких численных показателей, как импакт-фактор и индекс цитируемости.
Основное место в сборнике занимает отчет «Статистики цитирования»,
подготовленный по инициативе Международного математического союза.
К нему добавлен ряд других статей на эту же тему.
ББК 78.5
Электронная версия книги доступна по адресу
http://www.mccme.ru/free-books/bibliometric.pdf
ISBN 978-5-94057-771-3
|
Приведу введение к первой статье второго сборника:
| Цитата |
|---|
Статистики цитирования
Роберт Адлер, Джон Эвинг, Питер Тейлор
Доклад Международного математического союза (IMU) в сотрудничестве с Международным советом промышленной и прикладной математики (ICIAM) и Институтом математической статистики (IMS)
Настоящий доклад посвящен использованию и злоупотреблениям данными цитирований при оценке научных исследований. Сейчас все более распространенной становится идея о том, что оценка исследовательской деятельности должна осуществляться с помощью «простых и объективных» методов. Сами эти «простые и объективные» методы обычно интерпретируются как библиометрические, то есть как данные цитирований и связанные с ними статистики. Существует убеждение, что статистики цитирований по сути своей более точны, поскольку они оперируют числами, а не сложными суждениями, и, следовательно, позволяют обходить субъективность экспертной оценки. Но это убеждение является необоснованным.
• Опора на статистические данные не является более точной, если эти данные неправильно используются. Данные статистики и в самом деле могут вводить в заблуждение, если их неправильно используют или неправильно понимают. Представляется, что интерпретация и обоснованность статистик цитирований в современной библиометрике основывается по большей части на субъективном опыте и интуиции.
• Числа вроде бы «объективны», но их объективность может быть иллюзорной. Оценка смысла цитирования может быть даже более субъективной, чем экспертная оценка. Поскольку в области цитирований субъективный характер оценки менее очевиден, те, кто использует данные цитирований, имеют меньше шансов осознать их ограниченность.
• Использование только данных цитирований дает в лучшем случае неполное, а зачастую поверхностное понимание научного исследования –– понимание, пригодное только тогда, когда оно подкрепляется другими оценками. Числа по сути отнюдь не лучше, чем разумное суждение.
Использование данных цитирований для оценки научных исследований в конечном счете означает использование основанных на цитатах статистик для ранжирования объектов –– журналов, статей, людей, программ и дисциплин. Статистические инструменты, используемые для ранжирования этих объектов, часто неправильно понимаются и неправильно используются.
• Для ранжирования журналов наиболее часто используется импакт-фактор. Это простое среднее, выводимое из распределения цитирований некоторой совокупности статей в журнале. Среднее улавливает только небольшое количество информации об этом распределении и является довольно грубой статистикой. Кроме того, при оценке журналов с помощью цитирований обнаруживается много сопутствующих факторов, так что любое сравнение журналов по импакт-факторам требует большой осторожности. Использовать лишь только импакт-фактор при оценке журнала –– это все равно, что при оценке здоровья человека учитывать только его вес.
• Что касается статей, то вместо того, чтобы при сравнении отдельных статей полагаться на фактическое количество ссылок на них, люди часто заменяют его импакт-фактором журналов, в которых опубликованы статьи. Они считают, что более высокий импакт-фактор должен означать более высокий уровень цитирования. Но зачастую это совсем не так! Это широко распространенное неправильное использование статистических данных, с которым следует бороться, когда и где бы оно ни встретилось.
• При сопоставлении отдельных ученых сравнивать полные списки цитирований бывает затруднительно. Как следствие, были предприняты попытки найти простые статистики, которые выражали бы всю сложность списка цитирований ученого одним числом. Наиболее заметным из них является h-индекс, который, похоже, становится все более популярным. Но даже эпизодические проверки h-индекса и его вариантов показывают, что все они являются наивной попыткой решить сложную проблему анализа списков цитирований. Они охватывают лишь небольшой объем информации о распределении цитирований ученого, упуская из внимания важнейшие данные, определяющие оценку научного исследования.
Обоснованность таких статистик, как импакт-фактор и h-индекс, не является ни хорошо понятой, ни хорошо изученной. Связь этих статистик с качеством научных исследований иногда устанавливается на основе «опыта». Оправданием для тех, кто полагается на них, является их «доступность». Немногочисленные попытки исследовать эти статистики были направлены исключительно на демонстрацию их корреляции с некоторыми другими мерами качества, а не на определение того, как лучше всего можно получить полезную информацию из данных цитирований. Мы не отбрасываем статистики цитирований как инструмент оценки качества научных исследований: данные цитирований и статистики могут нести вполне ценную информацию. Мы допускаем, что оценки должны быть практичными, и по этой причине легко получаемые статистики цитирований почти наверняка будут частью всего процесса. Вместе с тем, данные цитирований дают лишь ограниченное и неполное представление о качестве научных исследований, а статистики, полученные на основе данных цитирований, порой неправильно понимаются и используются. Научные исследования слишком важны, чтобы измерять их ценность только одним грубым инструментом.
Мы надеемся, что те, кто связан с оценками, познакомятся с комментариями и деталями этого доклада, чтобы не только осознать ограниченность статистик цитирований, но и понять, как их лучше использовать. Если мы устанавливаем высокие стандарты проведения научных исследований, то мы, безусловно, должны установить столь же высокие стандарты для оценки их качества.
Объединенный комитет по количественной оценке исследований
Роберт Адлер, Израильский технологический институт (Technion)
Джон Эвинг (председатель), Американское математическое общество
Питер Тейлор, Университет Мельбурна
|
Интересны высказывания акад. Л.Д.Фаддеева, руководителя Отделения математики РАН:
| Цитата |
|---|
Из интервью журналу «Эксперт»
Л. Д. Фаддеев
А. М.: Проблема, которую постоянно обсуждают, о которой гово-
рят, –– как измерить эффективность затрат в фундаментальной нау-
ке. Многие рассматривают цитируемость и количество публикаций
в качестве главного критерия.
Л. Ф.: Я с этим категорически не согласен. Чтобы никто не запо-
дозрил меня в заинтересованности, сразу скажу, что мой индекс ци-
тируемости хороший (общее число цитирований более 17 тысяч, индекс Хирша не меньше 50. –– Прим.
ред.).
Но я утверждаю, что индекс цитирования ––
это только лишь один из многих показателей, по которым может
оцениваться научная работа.
Международный математический союз посвятил вопросам ста-
тистической оценки труда ученых специальный доклад, который
так и называется «Сitation statistics», то есть «Статистики цитиро-
вания» (см. наст. изд., с. 6––38. –– Прим. ред.). Я вам приведу его основные выводы: «Мы не отказыва-
емся от статистики цитирования как способа оценки качества ис-
следований. Но если мы хотим, чтобы эта оценка приносила пользу,
то индекс цитирования может быть только частью оценки. Потому
что он представляет собой только ограниченный и неполный взгляд
на качество исследований, и статистика, выведенная из данных ци-
тирования, зачастую понимается и используется неверно. Научные
исследования настолько сложная вещь, что их важность невозмож-
но измерить только единственным грубым средством».
Надо также понимать, что индекс цитирования, а особенно им-
пакт-параметр, то есть относительная частота цитирования «сред-
ней» статьи данного журнала в течение определенного периода вре-
мени, очень зависит от специальности. В этом же докладе Между-
народного математического союза есть прекрасный график (См. наст. изд., с. 16.
–– Прим. ред.), который это иллюстрирует.
А. М.: Некоторые наши работающие здесь ученые говорят: пуб-
ликоваться за границей их вынуждает то обстоятельство, что наши
журналы за рубежом читают, но не цитируют.
Л. Ф.: К сожалению, такое бывает. Когда некоторые заграничные
ученые решили, что индекс цитирования важен для престижа и,
главное, для получения грантов, они стали искусственно повышать
свои индексы. Мы знаем примеры, когда целые лаборатории дого-
вариваются цитировать друг друга: мы цитируем вас, вы цитируете
нас. Конечно, чужие им не нужны. Это конкуренция.
|
В настоящей дискуссии высказано много конструктивных предложений (в частности, С.Н. Гринченко и мною), как правило, основанных на тщательной оценке работы исследователя комиссией компетентных экспертов.
Изменено:
Александр Иванович Орлов - 05.02.2013 12:16:19
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Бумажная книга у меня есть. Рад Вашему предложению. Давайте так и сделаем.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Сорок четыре года назад тиражом 9500 экз. вышла классическая книга по наукометрии:
НАЛИМОВ В. В., МУЛЬЧЕНКО З М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
Приношу извинения читателям моей статьи - по непонятным причинам неправильно указал инициалы Зинаиды Максимовны Мульченко. Хотя в ряде предыдущих работ указывал правильно, как это сразу видно по поиску с помощью Яндекса.
Во введении к книге В.В. Налимова и З.М. Мульченко сказано: "Сейчас (т.е. в 1969 г.! - А.И. Орлов) имеется уже трудно обозримый поток публикаций по науковедению".
Правильно пишет Павел Юрьевич Чеботарев - все спешат, все торопятся. У меня сложилось впечатление, что многие лица, пишущие про науметрические подходы к оценке эффективности научной деятельности, не знакомы с подробным анализом этой темы в книге В.В. Налимова и З.М. Мульченко. К сожалению, в Интернете эту книгу мне найти не удалось.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
| Цитата |
|---|
| По поводу классификации наук. В дополнение к сказанному Александром Ивановичем, еще одно соображение. Если, как говорят многие, правила оценки ученых, в том числе, и их публикаций, должны зависеть от области знания, то неправильная классификация научного направления может привести и к неправильной оценке ученых, им занимающихся. |
1. От принятой классификации наук и научных специальностей зависит, в частности, адекватность формирования экспертов, оценивающих публикацию или работу исследователя. Сейчас мои работы можно отнести к математике, к техническим наукам, к экономическим наукам. От выбранного отнесения будет зависеть как состав экспертов, так и оценка работы. В США мои основные работы однозначно отнесли бы к статистике (к той области знаний, в которой действует Американская статистическая ассоциация).
2. На модернизацию классификации наук и научных специальностей нельзя жалеть времени и средств.
Изменено:
Александр Иванович Орлов - 03.02.2013 23:18:41
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
| Цитата |
|---|
Цитата
1. Не доверяю я объективности формирования "корпусов экспертов". Не нужна нам диктатура "генералов от науки", которые сформируют эти "корпуса" из своих сторонников. В итоге задушат новое.
Но их не "генералы" формируют http://www.expertcorps.ru/. |
Рабочей группе по формированию этого "корпуса" я не доверяю (есть причины, есть примеры необъективности). Потому не доверяю и "корпусу".
| Цитата |
|---|
Цитата
В частности, сам исследователь указывает часть экспертов, других назначает руководитель экспертизы.
Тогда если эти двое дружат, то все эксперты могут оказаться "добряками". |
Такова западная практика. А эксперты "со стороны" могут вообще ничего не знать про работы оцениваемого исследователя.
Например, оценка числа работ по статистическим методам - 1 000 000. Примем, что актуальна десятая часть: 100 000. Сколько может прочесть один человек? 2 000 - 3000 (за всю жизнь). Значит, каждый знает 2-3% актуальных работ в своей области.
| Цитата |
|---|
Цитата
2. Общение экспертов помогает "рождению истины". Идея публичной защиты своей работы в дискуссии с оппонентами мне представляется более правильной, чем оценка анонимных экспертов, аргументы которых неизвестны.
Можно и так, но это дорогая процедура (всех собрать вместе, время - деньги). |
Тратим же мы время, сидя в диссертационных советах. Проще было бы проголосовать заочно (доверяя председателю совета).
На принятие важных решений надо тратить адекватное время.
| Цитата |
|---|
| Анонимность же минимизирует фактор личных отношений. |
Если член диссертационного совета выступает "за" или "против", он аргументирует свою позицию. Анонимность позволяет без помех свести счеты без аргументов, исходя из внепрофессиональных соображений. Если же потребовать аргументацию, то написать текст дольше, чем его проговорить, сопоставив с мнениями коллег.
Например, в "Заводской лаборатории" рецензии, действительно, анонимны (с точки зрения авторов статей). Однако сами статьи обсуждаются на заседании секции редколлегии, и не всегда секция соглашается с рецензентом. Такая система выработана давно (до моего появления там в начале 80-х).
| Цитата |
|---|
| Возможно, причина в том, что все согласны с абсурдностью текущей классификации, особенно, с точки зрения специалистов по управлению, которое рассеяно по разным далеким областям, но любые конкретные предложения затруднительны. Частные заявки на добавление той или иной науки не очень конструктивны, а любой системный подход в этой области очень трудоемок - нужно предлагать новую систему классификаций. |
Нужна новая классификация научных специальностей, и в итоге нашей дискуссии такое предложение может быть выдвинуто и направлено ЛПР. Нужно исследование с соответствующим финансированием, в итоге которого будет новая классификация научных специальностей.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
В ответ на крайний текст Павла Юрьевича. Не видел его при написании своей реплики.
1. Не доверяю я объективности формирования "корпусов экспертов". Не нужна нам диктатура "генералов от науки", которые сформируют эти "корпуса" из своих сторонников. В итоге задушат новое.
Западный опыт выработал более гибкие схемы. В частности, сам исследователь указывает часть экспертов, других назначает руководитель экспертизы. В целом курировать экспертизы, на мой взгляд, может Ученый совет института (вуза).
2. Общение экспертов помогает "рождению истины". Идея публичной защиты своей работы в дискуссии с оппонентами мне представляется более правильной, чем оценка анонимных экспертов, аргументы которых неизвестны.
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Есть что обсудить.
1. О формальных методах.
| Цитата |
|---|
| У формальных методов есть очевидное достоинство: человек сколько набрал, столько и получил - никаких обид. |
Это так, если формальные методы оценивают то, что надо.
Обсудим явно нелепый метод:
Взвешиваем каждого исследователя. Каков вес (в килограммах), такова и надбавка (в тыс. руб.).
(Можно даже обосновывать: расходы на питание и лекарства пропорциональны весу, поэтому большую надбавку получит тот, кому она нужнее.)
Метод формальный. Но разве верно, что "никаких обид"?
Используем принятый термин:
| Цитата |
|---|
| Вали́дность (англ. validity) — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. |
Я утверждаю, что наукометрические методы как методы оценки эффективности научной деятельности исследователя недостаточно валидны, по крайней мере, в настоящее время и на настоящем уровне их развития. Наукометрические методы полезны для решения многих других задач, например, для выявления внутренней структуры научной области. Обо всем этом писал еще проф. В.В. Налимов 45 лет назад.
2. Об экспертизах.
По экспертным оценкам написано много. Например, мой учебник: Орлов А.И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с. Ответ на вопрос
| Цитата |
|---|
| Как организовать наиболее честную процедуру экспертизы. |
должен был бы выглядеть как методика экспертного оценивания объемом в несколько десятков или сотен страниц. Должно быть расписано, каким требованиям должны удовлетворять эксперты, какой орган формирует экспертную комиссию.
Не вижу причин, по которым надо заранее отказываться от зарубежных экспертов.
Про зарубежных экспертов я сказал в связи с пожеланием тщательнее изучить зарубежный опыт оценки эффективности научной деятельности исследователей и преподавателей. Судя по публикациям акад. В.И. Арнольда, в этой сфере экспертные методы имеют больший удельный вес, чем формальные.
Изменено:
Александр Иванович Орлов - 03.02.2013 20:52:37
|
|
|
|
Cообщений: 230
Регистрация: 26.03.2010
|
Согласен, что целесообразно более четко сформулировать обсуждаемую проблему и варианты ее решения.
Мне представляется, что обсуждаем не "желательное направление развития российской науки", а гораздо более узкую проблему оценки эффективности научной деятельности.
Для выявления желательного направления развития российской науки пришлось начать с обсуждения целей науки, организации научных исследований, в частности, целесообразности дальнейшего существования РАН в ее нынешнем виде или обоснованности ее преобразования в научное общество и/или ассоциацию научных организаций, и т.д., и т.п.
Наша дискуссия - вокруг частного вопроса: оценки эффективности научной деятельности, прежде всего конкретного исследователя (а не НИИ или страны), и даже более узкого вопроса - по каким принципам устанавливать надбавки за успешную научную деятельность.
И здесь, мне кажется, действительно выявлены две крайние позиции:
1) решение принимается на основе оценки всей научной деятельности исследователя за достаточно большой период (скажем, пять лет); для этого компетентные эксперты должны проанализировать все публикации исследователя (примерно так обсуждают кандидатов в члены РАН и присуждают ученые степени);
2) решение принимается на основе наукометрического анализа публикаций исследователя в научных журналах, на основе имеющихся баз данных и расчета показателей цитируемости (крайний вариант - за каждую публикация в высокоцитируемых зарубежных журналах выплачивается определенное вознаграждение - так делают где-то в Центральной или Южной Америке); при таком подходе решение может принимать канцелярский работник на основе обращения к соответствующему программному продукту.
Высказаны варианты этих двух позиций. Обсуждаются, например, вопросы использования западных и отечественных наукометрических систем, наблюдаемой при этом дискриминации отечественных исследователей.
К сожалению, в дискуссии мало внимания уделяется второй поднятой мною теме: классификации наук и модернизации перечня научных специальностей.
Изменено:
Александр Иванович Орлов - 03.02.2013 18:06:20
|
|
|
|
|
