Интернет конференция по проблемам теории и практики управления

Цитата
Михаил Владимирович: Надеюсь, с текущего сообщения мое имя будет отображаться.

Да, так гораздо лучше.

Цитата
У меня довольно средний ПРНД по текущим правилам, и меня не сильно коробят доплаты лидеров, хотя понятно, что при нашей пропорциональной системе, если у соседа ПРНД стал больше, то у меня уменьшился.

Мы говорим о стимулировании. Пропорциональная система стимулирует количество и поощряет накрутку. Надежных, быстрых и дешевых измерителей качества в наших руках нет. Импакт-факторы ненадежны (особенно низкие) и накручиваемы. Ссылки – могут «настигнуть» нескоро и отражают больше моду, чем качество. Функция с убывающей к нулю производной – средство – в этих условиях – послать сигнал ученым уже сегодня: общество НЕ ДОВЕРЯЕТ (и поделом) простому количеству. Тот, у кого много качественных работ, скорее всего, будет замечен и прославлен за качество МНОГО РАНЬШЕ, чем тот, у кого работы тоже хорошие, но их мало. Просто потому, что он заметнее. А когда 1 его работа «прозвучит», то обратят внимание и на остальные. Сильно жалеть его и специально заботиться о нем не нужно. Как я писал в статье, он будет высоко оценен при любой системе. В защите и поддержке нуждается тот, кто пишет 1 хорошую работу в год. Замечены его работы могут быть нескоро. Его научная стратегия вполне достойна. То, что он получает в 100 раз меньше, чем лидеры рейтинга, среди которых ничто не мешает быть накрутчикам, абсолютно несправедливо.
У функции с убывающей к нулю производной ест альтернатива – пороговая система, которая, насколько мне известно, господствует в мире. Первые несколько работ учитываются равно. А следующие вообще не учитываются. Это лучше? Дело вкуса. Мне больше по душе плавная функция. Хотя принцип всех мировых научных премий – пороговый. Общество не пытается точно измерить вклад ученого, оно просто признаёт его заслуги и относит к высшей касте. Мне кажется, это обстоятельство следует осмыслить приверженцам пропорциональной системы. Пороговые системы стимулирования работают так же: они не исчисляют, а классифицируют, присваивают «категории» (врЕменные!). Может быть, в силу эстетических пристрастий я предпочитаю гладкие функции функциям кусочно-постоянным (ступенчатым). Пусть ВСЁ будет замечено. Но если мою 2-ю работу за год общество оценивает ниже, чем 1-ю, я воспринимаю это как отражение общественной модели, по которой на одну превосходную работу нужен год (ну, скажем, Г.Перельман работал над доказательством в 8 раз дольше, причем не отвлекаясь и будучи гением). Если я за год написал 2, значит, как минимум, это не доказательство гипотезы Пуанкаре. Если я такой гений в кубе, что доказал в год 2 гипотезы Пуанкаре, ждать признания осталось недолго, и обижаться на недоверие общества глупо. Отвечая на другой вопрос: функция с убывающей к нулю производной выражает недоверие не только к количеству, но и к имеющимся косвенным, ненадежным измерителям качества – импакт-фактору и ссылкам. Их нельзя абсолютизировать. Функции типа 2^f усиливают их кособокость и волатильность. Импакт-фактор журнала – это не тот показатель, на основании которого надо «озолачивать»; Вы справедливо и аргументированно пишете о его накрутках. Мода (ссылки) имеет экспоненциальный закон, но наука не шоу-бизнес. Научная оценка должна быть КОНСЕРВАТИВНА. Вот идея, стоящая за «правилом корня».
Вывод. Главная функция системы оценки (на мой взгляд) – послать сигнал: В науке количество – третьестепенная вещь. Общество относится к простому количеству без большого доверия. А механические корреляты качества (импакты, ссылки) не считает надежными измерителями. Отдает всему этому должное, но консервативно. Бумажных стахановцев премирует с недоверчивой скупостью.
Думаю, по этому вопросу я едва ли что-то еще смогу прибавить.

Цитата

Рассмотрим схему манипулирования с соавторами. "Раз мою личную продуктивность не оценивают, я возьму в соавторы пару студентов-сотрудников учреждения с договоренностью, что часть своей доплаты они передадут мне. У них будет одна классная статья в соавторстве и часть доплаты, в районе нуля баллов она будет приличная, все, глядя на фамилии авторов в статье, будут знать, кто в этой статье главный, а я обойду этот несправедливый закон." Такое манипулирование можно с моральной точки зрения обставить и более красиво - наш ведущий ученый может и не договариваться о передаче выплат, заботясь, например, о росте ПРНД лаборатории. Но в любом случае, это манипулирование, и предлагаемый "механизм корня" его стимулирует.

Согласен. Но, во-первых, он за это платит немало тем, что в учебниках и анналах и будет прославлено не только его имя. Вообще, мне кажется, для крупного ученого престиж и какие-то ерундовые выплаты – вещи несопоставимые. А если человек настолько мелочен, что просит их назад, это с отвагой, нужной крупному ученому, плохо совместимо. Всё бывает, но некоторое – очень редко. Скорее он сделает по-другому. Он этих «студентов-сотрудников» попытается по существу приобщить к науке – поручит им существенную часть работы. Это лучшее обучение. И это будет благородно. Давайте его слегка простимулируем (пошлем сигнал)

Цитата
Андрей Владимирович Цыганов: В наукометрии есть различные законы,

Большое спасибо за данные.

Цитата
Теория Хирша также подтверждена эмпирически, см. например Statistical analysis of the Hirsch Index, http://xxx.lanl.gov/abs/1102.2701 и ссылки внутри статьи. Так же можно привести отдельный пример по использованию Хирш-фактора в астрономии http://xxx.lanl.gov/abs/1103.3130

Есть разные типы подтверждения. В общем, все индексы служат численному выражению некоторых человеческих интуиций. Поэтому 1-я проверка – здравым смыслом. На мой (и не только мой) взгляд, именно ее Хирш не проходит. (Продолжение этого подхода – «нормативный»: формулируем ряд нормативных условий – типа строгой монотонности – и проверяем, какие индексы им удовлетворяют.) К тому же, по моему убеждению, индекс Хирша ложно мотивирует ученых: к написанию большого числа статей среднего качества, а не к постановке и решению трудоемких и амбициозных «сумасшедших» задач, от решения которых пользы было бы неизмеримо больше, чем от «равномерно-прямолинейного» писательства. Наконец, есть статистические исследования, где Хирш выглядит бледно (ссылку на одно я приводил в статье).

Цитата
заранее прошу прощения за вопрос, но на каком проверенном эмпирически законе основана предлагаемая выше формула и для каких областей знания уже проведены эксперименты по ее использованию?

Предлагается следующая методика проверки. Строим регрессию, где объясняющие переменные – ряд индексов, объясняемая – усредненная экспертная оценка [успешности] ученых. Отдельно для каждой области. Новые и старые индексы составляют «банк» объясняющих переменных.

Цитата
Михаил Владимирович (secretary-Администратор): с ролью уравнивания ученых по доходам неплохо справляется fixed wage – оклад, на фоне которого доплата за ПРНД несколько теряется.

Думаю, если бы Вы поинтересовались размером надбавки лидеров рейтинга в лучшие периоды, то сочли бы его чрезмерным. А надбавка ученого, написавшего за то же время одну классную статью (или немногим больше), показалась бы пренебрежимо малой. Уж одно из двух – точно. Если так, то пропорциональность баллам ошибочна. Самое печальное – что она подталкивает подменять науку производством бумажек со своей фамилией наверху.

Цитата
Доплаты же, как я считаю, должны играть стимулирующую роль, то есть воздействовать на поведение управляемой системы (в данном случае, исследователя) в нужную сторону – в сторону повышения качества публикуемых работ.

Абсолютно согласен.

Цитата
С точки зрения справедливости, предложение с извлечением корня обоснованно только в случае, если мы все договоримся, что сотый балл произведения k*(1+f) чем-то хуже с точки зрения вклада в науку, чем первый

Надо немного уточнить. Он хуже, чем [1-й при условии отсутствия 100-го]. А это обосновано тем, что у человека есть предел возможностей. Кроме того, стимулирующая роль: не получай 100-й, а улучшай 1-й!

Цитата
я считаю, что само исследование имеет существенно бОльшую трудоемкость, чем оформление его результатов, и этими затратами можно пренебречь. В то же время, можно и не пренебрегать.

У нас часто бывает, что в результате написания статьи объем исследования удваивается. Садишься писать сонет, выходит поэма Исследование и написание трудно разделить.

Цитата
чтобы утверждать, что это будет стимулировать повышение качества публикуемых работ, необходимо делать эксплицитные предположения о виде этой самой функции затрат.

Базовое рассуждение такое. 4-я статья при корне «стОит» четверть от 1-й. Улучшая 1-ю можно добиться большего. За счет ссылок, импакта, кумулятивного эффекта от ее качества. Главное – последнее. Вкладываясь в качество, не просто напишешь статью, а, м.б., создашь новую теорию, увидишь новые горизонты, выйдешь на иной уровень. Во-вторых, важен message, посылаемый функцией. Сегодняшняя функция говорит ученому: чем больше бумаг со своим именем ты выпустишь, тем больше общество тебя уважает. Новая функция говорит: Если ты пишешь много, общество всё с бОльшим недоверием к тебе относится: не графоман ли ты, не «накрутчик»? И смотрит на качество.
Надо сказать, что второе ближе к истине.

Цитата
Кроме того, в общем виде, уплощение выплат снижает публикационные усилия ученых

Хорошо, если функция перенаправит усилия в сторону качества и в сторону публикаций, доступных во всем мире.

Цитата
рассмотрим простой пример, когда результаты некоторого исследования могут быть опубликованы в виде итоговой статьи в «хорошем журнале» или в виде двух статей в «случайном журнале». В данном случае посыл Павла Юрьевича, как я его понял, заключается в том, что первая ситуация предпочтительнее для науки в целом, и неплохо бы, чтобы это было выгодно и ученому с точки зрения выплат ему.

Это очень важно. Начну с общего. Человек – существо с огромными резервными возможностями. Наибольшее благо для него – когда обстоятельства их мобилизуют (не истощая). Если человек пишет в журнал, требования которого – на потолке его возможностей, он растет над собой и получает шанс перейти в иную «весовую» категорию. Стремиться надо к этому. Исследование, которое «тянется» к высоким требованиям, становится уже другим исследованием.

Цитата
И в этом случае извлечение корня из k*(1+f) никак не помогает сдвинуть рациональное поведение исследователя в сторону первого варианта.

«Сдвиг» будет при условии F > 1 + 2f, где F и f импакты «хорошего» и «плохого» журналов. Если, скажем, f ~ 0.2, а F > 1.5, то это работает… Надо учесть, что и учет ссылок добавит выгоды, и общий "кумулятивный эффект"... В общем, пишем если не в Nature:)), то в лучшие журналы своей области. Вот на что, на самом деле надо настраивать научных работников. Тогда тот, кто может, не будет «мелко плавать», а дотянется до своего максимального уровня. Формулу, конечно, надо попытаться настроить точнее, чтобы она посылала точный message.

Цитата
- а зачем прибавлять единицу в сомножителе 1+f?... Не лучше ли убрать единицу, оставив k*f (это просто сумма f1 + … + f_k импакт-факторов журналов, в которых вышли статьи)?

Дело в том, что брать статью с весом, равным импакту в зоне низких импактов ВОПИЮЩЕ несправедливо. Во-первых, низкие импакты подвержены большим случайным колебаниям, а ученому ой-не-всё-равно, с каким весом берется его статья. Во-вторых, импакт – однобокий индекс. Как показано в одной из статей сборника «Игра в цыфирь», у журнала А импакт может быть вдвое выше, чем у В, а другой не менее естественный индекс цитируемости при этом будет выше у В. Добавляя 1, сглаживаем эти хаотические эффекты.

Цитата
…Возникает проблема со стимулированием публикаций в новых изданиях – кто же тогда понесет свою статью в издание с f=0? Но проблема легко решается присвоением новому изданию на первые два года искусственного f в соответствии с заявленным редакцией классом журнала (поле для экспертных оценок).

Если по «заявленному редакцией», то дискриминируем журналы, которые уже честно заработали маленький, но импакт. В WoS так. Они следят за журналами и наделяют их импактом, когда они достигают некого порогового импакта. При этом, увы, матем. журналы из-за низкого цитирования в невыгодном положении. Я знаю вполне уважаемый матем. журнал, получивший импакт WoS в 2007 г., на 52-м году своей жизни! При этом в нем давно публиковались лучшие ученые. И сейчас его импакт выше, чем у многих журналов, приобретших его давным-давно. Так что с импактом, особенно нулевым или малым, надо очень осторожно.