Введение и экспериментальное исследование гистограммного коэффициента как инструмента для изучения явления сверхдоверия в среде экспертов

Автор(ы): Калмыков Н.С., Сидельников Ю.В.

Выпуск: 87

Рубрика: Управление в социально-экономических системах

Год: 2020

Библиография: Калмыков Н.С., Сидельников Ю.В. Введение и экспериментальное исследование гистограммного коэффициента как инструмента для изучения явления сверхдоверия в среде экспертов // Управление большими системами. Выпуск 87. М.: ИПУ РАН, 2020. С.101-130. DOI: https://doi.org/10.25728/ubs.2020.87.6

Дата опубликования: 30.09.2020

Ключевые слова: экспертные оценки, тестовый вопрос, гистограммный коэффициент

Аннотация: Введен гистограммный коэффициент, который является интегральной оценкой степени уверенности экспертов в своих оценках. При этом, ими оцениваются тестовые вопросы, представленные в виде задачи. Предложены экспериментальные исследования тестовых вопросов на основе этого коэффициента в качестве инструмента изучения явления сверхдоверия среди экспертов. Предложена и обоснована гипотеза о взаимосвязи между степенью уверенности эксперта в своей оценке и апостериорной оценкой его точности. Для данного исследования были использованы существующие тестовые вопросы и массив оценок, описанные ранее в монографии одного из авторов. Выявлены факторы, от которых зависит корректность выводов настоящего экспериментального исследования. Даны пояснения описания факторов, от которых зависит корректность выводов, полученных в этих исследованиях. Введены требования к форме и виду тестовых вопросов. Также, предложены и экспериментально обоснованы гипотезы, характеризующие динамику изменений значений гистограммного коэффициента, от размера выборки и подтверждена их состоятельность. Проведено исследование динамики интегральной оценки уверенности экспертов в своих оценках. Выявлены факторы, от которых зависят сами выводы экспериментальных исследований. Показано, что гистограммный коэффициент является не только интегральной оценкой степени уверенности экспертов в своих оценках, но и аналогом любого дискретного показателя ошибки конкретного эксперта при оценке им отдельного вопроса.

Author(s): Kalmykov N., Sidelnikov Y.

Article title: Experimental studies on the test questions based on the histogram ratio

Issue: 87

Year: 2020

Keywords: expert appraisals, test question, histogram ratio

Abstract: The article proposes a histogram ratio as a tool of an integral assessment of the degree of confidence of experts in their estimates. Herewith, the experts evaluate test questions presented in the form of a problem. Experimental studies of test questions based on this ratio are proposed as a tool for studying the phenomenon of over-confidence among experts. A hypothesis about the correlation between the degree of confidence of an expert in his assessment and a posteriori assessment of his accuracy is proposed and substantiated. Explanations of the factors that determine the correctness of the conclusions obtained in these studies are provided. Requirements for the form and type of test questions have been introduced. Also, hypotheses that characterize the dynamics of changes in the values of the histogram ratio from the sample size are proposed and experimentally substantiated, and their consistency is confirmed. The dynamics of the integral assessment of experts ' confidence in their assessments were studied. The factors on which the conclusions of experimental studies depend are revealed. It is shown that the histogram ratio is not only an integral assessment of the degree of confidence of experts in their estimates, but also an analogue of any discrete indicator of the error of a particular expert when evaluating a particular question.