Интернет конференция по проблемам теории и практики управленияУважаемый Михаил Владимирович пишет:
Вот мое мнение (на основе анализа текста статьи от 18.03.2013).
О статье «ОЦЕНКА ВКЛАДА НАУЧНЫХ РАБОТНИКОВ МЕТОДОМ ПОРОГОВОГО АГРЕГИРОВАНИЯ»
Как пишут авторы статьи, в ней «предлагается построение агрегированного рейтинга, основанного на применении процедуры порогового агрегирования, используемой в задачах многокритериального оценивания. Различными критериями, по которым будут оцениваться авторы, в данном случае будут такие библиометрические показатели, как общее число статей, общее число ссылок, индекс Хирша, показатель значимости публикаций, индекс качества опубликованных работ и функция учета ссылок П.Ю.Чеботарева» (с.2).
Статья носит абстрактный характер. Не указано, по какой базе данных рассчитываются показатели, каково качество данных в этой базе. Данные являются условными, специально подобранными авторами статьи.
В тексте есть ошибки. Так, определение индекса Хирша противоречит условному расчету в конце п.2.2.
В разделе «2. Наукометрические показатели оценки научного вклада отдельного автора» построение указанных показателей (кроме общеизвестных - общее число статей, общее число ссылок, индекс Хирша) ничем не обосновано. В частности, это относится к формуле (1) на стр.4. Почему квадрат, а не первая или третья степень? Равно как и формулы (2) и (3). Можно выписать бесконечно много подобных критериев. Особенно странно эти формулы выглядят, если вспомнить про принципиально различные по величине импакт-факторы журналов в разных областях науки. Достаточно математику напечатать статью с биологом, чтобы резко улучшить свои показатели.
Субъективны рассуждения в разделе «3. Исходные данные и анализ рейтинга по Хиршу», как, впрочем, и в других разделах. Например, исходит из неверного утверждения, что работа более высокого качества чаще цитируется. Реальная ситуация противоположна – работа высокого уровня решает проблему, и поэтому ее нельзя легко продолжать, такую работу цитировать будут лишь в обзорах и учебниках, в то время как слабую работу зачастую долго улучшают, статья за статьей, прежде чем будет получен окончательный результат. Как следствие, импакт-фактор журнала, публикующего работы высокого уровня, в которых решаются сложные проблемы, будет иметь меньший импакт-фактор, чем журнал студентов, постоянно улучшающих «результаты» друг друга и тем самым порождающих море цитирований.
Некоторое недоумение вызывает построение таблиц. В них используется термин «место рейтинга», в то время как важны значения рейтинга (естественно, упорядоченные), позволяющие судить, насколько сильно отличаются соседние позиции, а для облегчения восприятия – ранг рейтинга (как иногда говорят, рэнкинг). В таблицах нет значений рейтингов, а вместо рангов использован термин «место рейтинга». Не сказано, как поступать, если значения рейтинга совпадают для двух авторов.
В середине статьи на с.9 начинаются новые предложения.
Все формулы сосредоточены на с.9-10 в разделе «4.1.ПОРОГОВОЕ ПРАВИЛО И СООТВЕТСТВУЮЩИЙ ИНДЕКС».
На с.9 сказано: «Значения каждого библиометрического показателя было разделено на 15 равномерных градаций». Почему именно на 15 – неизвестно. Было бы естественно использовать 16 градаций – по числу авторов (альтернатив), чтобы каждого можно было отнести к определенной градации. Особенно интригует термин «равномерные» применительно к количественным критериям, а они все таковы, могут меняться от единиц до бесконечности. Как бесконечный луч разделить на «15 равномерных градаций»? Возможно, авторы хотят перейти к порядковым шкалам, но тогда обеспечить «равномерность» невозможно.
Далее необычно используется термин «ранг». Ранг – это место а упорядоченном (вариационном) ряду, а в рассматриваемой статье никакого упорядочения статистических данных не проводится. Зато становится ясно, что авторы действительно перешли к порядковым шкалам с 15 градациями.
На с.10 сказано:
«Альтернатива xєA считается (строго) более предпочтительной, чем альтернатива yєA (кратко: xPy), если найдется номер 1≤k≤n, такой, что vj(x)=vj(y) для всех номеров 1≤j≤k-1 и vk(x)
Дальше авторы забывают про это определение и вводят некий индекс (формулы (5) – (9)), никак не связанный с ранее введенным отношением предпочтения между альтернативами.
Смысл формул (5)-(9) никак не разъяснен. В частности, «некомпенсаторный характер» не продемонстрирован. Сравнений с другими способами построения индексов не проводится.
Во введенном индексе нет никаких параметров, процедура описана однозначно, поэтому неясно, что имеется в виду в последней фразе статьи: «для эффективного ранжирования необходимо правильно подобрать критерии для применения пороговой процедуры, что может являться темой дальнейших исследований».
Далее авторы демонстрируют результаты расчетов, которые достаточно хорошо соответствуют их априорным представлениям.
Вопреки мнению авторов, нельзя утверждать, что «рейтинги, основанные на некомпенсаторной процедуре, подобные рассмотренному в настоящей работе, могут представлять широкий интерес во многих реальных ситуациях» (с.14). Из материалов статьи это не вытекает – в ней не рассмотрены реальные ситуации.
Еще 40 лет назад Е.С. Вентцель называла подобные работы «математизированием». Есть формулы, расчеты, но рассуждения не дают возможности получить обоснованные практические рекомендации.
А.И. Орлов
2013-03-19
Этот же файл прикреплен.
| Цитата |
|---|
| Уважаемый Александр Иванович.
Хотелось бы услышать Ваше мнение по поводу описываемого авторами статьи метода порогового агрегирования и возможности его применения для повышения надежности рейтингов. |
Вот мое мнение (на основе анализа текста статьи от 18.03.2013).
О статье «ОЦЕНКА ВКЛАДА НАУЧНЫХ РАБОТНИКОВ МЕТОДОМ ПОРОГОВОГО АГРЕГИРОВАНИЯ»
Как пишут авторы статьи, в ней «предлагается построение агрегированного рейтинга, основанного на применении процедуры порогового агрегирования, используемой в задачах многокритериального оценивания. Различными критериями, по которым будут оцениваться авторы, в данном случае будут такие библиометрические показатели, как общее число статей, общее число ссылок, индекс Хирша, показатель значимости публикаций, индекс качества опубликованных работ и функция учета ссылок П.Ю.Чеботарева» (с.2).
Статья носит абстрактный характер. Не указано, по какой базе данных рассчитываются показатели, каково качество данных в этой базе. Данные являются условными, специально подобранными авторами статьи.
В тексте есть ошибки. Так, определение индекса Хирша противоречит условному расчету в конце п.2.2.
В разделе «2. Наукометрические показатели оценки научного вклада отдельного автора» построение указанных показателей (кроме общеизвестных - общее число статей, общее число ссылок, индекс Хирша) ничем не обосновано. В частности, это относится к формуле (1) на стр.4. Почему квадрат, а не первая или третья степень? Равно как и формулы (2) и (3). Можно выписать бесконечно много подобных критериев. Особенно странно эти формулы выглядят, если вспомнить про принципиально различные по величине импакт-факторы журналов в разных областях науки. Достаточно математику напечатать статью с биологом, чтобы резко улучшить свои показатели.
Субъективны рассуждения в разделе «3. Исходные данные и анализ рейтинга по Хиршу», как, впрочем, и в других разделах. Например, исходит из неверного утверждения, что работа более высокого качества чаще цитируется. Реальная ситуация противоположна – работа высокого уровня решает проблему, и поэтому ее нельзя легко продолжать, такую работу цитировать будут лишь в обзорах и учебниках, в то время как слабую работу зачастую долго улучшают, статья за статьей, прежде чем будет получен окончательный результат. Как следствие, импакт-фактор журнала, публикующего работы высокого уровня, в которых решаются сложные проблемы, будет иметь меньший импакт-фактор, чем журнал студентов, постоянно улучшающих «результаты» друг друга и тем самым порождающих море цитирований.
Некоторое недоумение вызывает построение таблиц. В них используется термин «место рейтинга», в то время как важны значения рейтинга (естественно, упорядоченные), позволяющие судить, насколько сильно отличаются соседние позиции, а для облегчения восприятия – ранг рейтинга (как иногда говорят, рэнкинг). В таблицах нет значений рейтингов, а вместо рангов использован термин «место рейтинга». Не сказано, как поступать, если значения рейтинга совпадают для двух авторов.
В середине статьи на с.9 начинаются новые предложения.
Все формулы сосредоточены на с.9-10 в разделе «4.1.ПОРОГОВОЕ ПРАВИЛО И СООТВЕТСТВУЮЩИЙ ИНДЕКС».
На с.9 сказано: «Значения каждого библиометрического показателя было разделено на 15 равномерных градаций». Почему именно на 15 – неизвестно. Было бы естественно использовать 16 градаций – по числу авторов (альтернатив), чтобы каждого можно было отнести к определенной градации. Особенно интригует термин «равномерные» применительно к количественным критериям, а они все таковы, могут меняться от единиц до бесконечности. Как бесконечный луч разделить на «15 равномерных градаций»? Возможно, авторы хотят перейти к порядковым шкалам, но тогда обеспечить «равномерность» невозможно.
Далее необычно используется термин «ранг». Ранг – это место а упорядоченном (вариационном) ряду, а в рассматриваемой статье никакого упорядочения статистических данных не проводится. Зато становится ясно, что авторы действительно перешли к порядковым шкалам с 15 градациями.
На с.10 сказано:
«Альтернатива xєA считается (строго) более предпочтительной, чем альтернатива yєA (кратко: xPy), если найдется номер 1≤k≤n, такой, что vj(x)=vj(y) для всех номеров 1≤j≤k-1 и vk(x)
Дальше авторы забывают про это определение и вводят некий индекс (формулы (5) – (9)), никак не связанный с ранее введенным отношением предпочтения между альтернативами.
Смысл формул (5)-(9) никак не разъяснен. В частности, «некомпенсаторный характер» не продемонстрирован. Сравнений с другими способами построения индексов не проводится.
Во введенном индексе нет никаких параметров, процедура описана однозначно, поэтому неясно, что имеется в виду в последней фразе статьи: «для эффективного ранжирования необходимо правильно подобрать критерии для применения пороговой процедуры, что может являться темой дальнейших исследований».
Далее авторы демонстрируют результаты расчетов, которые достаточно хорошо соответствуют их априорным представлениям.
Вопреки мнению авторов, нельзя утверждать, что «рейтинги, основанные на некомпенсаторной процедуре, подобные рассмотренному в настоящей работе, могут представлять широкий интерес во многих реальных ситуациях» (с.14). Из материалов статьи это не вытекает – в ней не рассмотрены реальные ситуации.
Еще 40 лет назад Е.С. Вентцель называла подобные работы «математизированием». Есть формулы, расчеты, но рассуждения не дают возможности получить обоснованные практические рекомендации.
А.И. Орлов
2013-03-19
Этот же файл прикреплен.