Методы выбора медианы ранжирования согласованности экспертных оценок по критерию близости в ранговой шкале

Автор(ы): Корнеенко В.П.

Выпуск: 103

Рубрика: Управление в социально-экономических системах

Год: 2023

Библиография: Корнеенко В.П. Методы выбора медианы ранжирования согласованности экспертных оценок по критерию близости в ранговой шкале // Управление большими системами. Выпуск 103. М.: ИПУ РАН, 2023. С.135-170. DOI: https://doi.org/10.25728/ubs.2023.103.6

Дата опубликования: 31.05.2023

Ключевые слова: ранговая шкала, связанные (рациональные) ранги, медиана ранжирования объектов, матричный критерий, согласованность мнений экспертов

Аннотация: В развитии теории экспертных оценок выявлена исключительная роль расстояния и медианы ранжирования, известной как медиана Кемени. Однако для нахождения медианы ранжирований, представленных матрицами бинарных отношений по матричному критерию расстояния, не существует оптимального метода решения. Обоснованность оптимального решения задачи выбора медианы в пространстве ранговой шкалы измерения связана с тем, что между ранжированиями, представленными матрицами бинарных отношений на множестве пар объектов, и ранжированиями в ранговой шкале существует взаимнооднозначное соответствие. После нахождения медианы ранжирований важной задачей становится проверка согласованности мнений группы экспертов. Существующие статистические методы и методы ранговой корреляции не измеряют согласованность мнений экспертов, если под ней понимать меру близости между экспертными оценками объектов. В статье на конкретных примерах показано, что коэффициент конкордации Кендэла, до сих встречающийся в работах некоторых авторов, не позволяет реально оценивать согласованность ранжирований экспертов, что может приводить к ошибочным управленческим решениям. Предлагается метод оценки мнений как пары экспертов, так и группы экспертов в виде усреднённой согласованности экспертов относительно медианы ранжирований, представленной в ранговой шкале.

Author(s): Korneenko V.

Article title: Methods for selecting the median ranking and evaluating the consistency of expert assessments by the proximity criterion

Issue: 103

Year: 2023

Keywords: rank scale, related (rational) ranks, median ranking of objects, matrix criterion, consistency of expert opinions

Abstract: In the development of the theory of expert assessments, the exceptional role of the position and the median of ranking, known as the Kemeny median, has been revealed. However, there is no optimal solution method for finding the median of the rankings represented by the matrices of binary relations according to the distance matrix criterion. The validity of the optimal solution to the problem of choosing the median in the space of the rank scale of measurement is due to the fact that there is a one-to-one correspondence between the rankings represented by binary relation matrices on a set of pairs of objects and the rankings in the rank scale. It is also an important task to check the consistency of the opinions of the expert group. The existing statistical methods and methods of rank correlation do not measure the consistency of expert opinions, if by which we mean the measure of proximity between expert assessments of objects.. The article shows by concrete examples that the Kendal concordance coefficient, which is still found in the works of some authors, does not allow for a realistic assessment of the consistency of expert rankings, which can lead to erroneous management decisions. A method is proposed for evaluating the opinions of both a pair of experts and a group of experts, in the form of an average agreement of experts with respect to the median of rankings presented in the ranking scale.