Экспериментальные исследования тестовых вопросов на основе точечного коэффициента

Автор(ы): Калмыков Н.С., Сидельников Ю.В.

Выпуск: 89

Рубрика: Управление в социально-экономических системах

Год: 2021

Библиография: Калмыков Н.С., Сидельников Ю.В. Экспериментальные исследования тестовых вопросов на основе точечного коэффициента // Управление большими системами. Выпуск 89. М.: ИПУ РАН, 2021. С.45-72. DOI: https://doi.org/10.25728/ubs.2021.89.2

Дата опубликования: 31.01.2021

Ключевые слова: экспертные оценки, тестовый вопрос, точечный коэффициент

Аннотация: Экспериментально проверяется наличие объективной составляющей сложности задачи. С этой целью введен и экспериментально исследован так называемый «точечный коэффициент», позволяющий оценить уровень сложности задачи заданной в виде тестового вопроса. Именно на основе ответов на эти вопросы оценивается уровень сложности задачи. Предложены и экспериментально апробированы гипотезы, характеризующие динамику изменений значений точечного коэффициента. Также проверена устойчивость полученных выводов, базирующихся на результатах расчетов по двум качественно различным коэффициентам относительно числа опрашиваемых участников. Экспериментально найден и проверен критерий для определения тестового вопроса как задачи третьего уровня сложности. Основанием этого является характер изменения диапазона разброса значений гистограммного коэффициента. Проведено экспериментальное исследование наличия когнитивных искажений при оценивании экспертами некоторых задач тестового характера. Предложены возможные направления дальнейших разработок.

Author(s): Kalmykov N., Sidelnikov Y.

Article title: Experimental studies on the test questions based on the point ratio

Issue: 89

Year: 2021

Keywords: expert appraisals, test question, point ratio

Abstract: The article proposes the existence of an objective component of the complexity of the problem which is experimentally verified and proposes the point ratio which is introduced and experimentally studied. For this purpose, the so-called "point coefficient" is introduced and experimentally investigated, which allows us to estimate the level of complexity of the problem given in the form of a test questions. This coefficient is based on the answers to these questions that the level of complexity of the problem is estimated. Hypotheses describing the dynamics of changes in the values of the point coefficient are proposed and experimentally tested. Also, the stability of the obtained conclusions based on the results of calculations for two qualitatively different coefficients relative to the number of respondents was checked. The criterion for determining the test question as a problem of the third level of complexity is experimentally found and tested. The reason for this is the nature of the change in the range of the spread of the values of the histogram coefficient. An experimental study of the presence of cognitive distortions in the assessment of some test tasks by experts was conducted. Possible directions for further development are proposed.