Интернет конференция по проблемам теории и практики управленияНазвание: Методика предварительного анализа и повышения непротиворечивости датасета, маркируемого ограниченным числом экспертов-разметчиков
Автор: Николай Леонидович Андрейчик
Соавторы:
Андрейчик Николай Леонидович
Макаренко Андрей Викторович
Аннотация:
В данной работе предлагается метод по специфичному анализу создаваемых наборов данных сложно оцениваемых объектов в условиях реальных ситуаций, а также приводятся способы по улучшению согласованности оценок отдельных экспертов-разметчиков, с учетом особенностей последующей нейросетевой обработки формируемого набора данных (обучение и тестирование моделей). В качестве первого этапа анализа используется построение корреляционных матриц над всем множеством предполагаемых признаков, для выявление наиболее информативных низкоуровневых признаков объекта, максимально влияющих на итоговую оценку. Затем, на втором этапе, предлагается использовать деревья решений для проверки гипотезы о состоятельности логики принятия решения каждого из разметчиков по наиболее информативным признакам. На третьем этапе вводится метод оценки согласованности между экспертами, который включает в себя использования сильных статистических критериев и метрики относительного количества совпадений оценок. На четвертом этапе осуществляется попытка смягчения оценок для увеличения степени согласованности итоговой разметки. В заключительном, пятом этапе, показывается проблематика несогласованности первичных оценок признаков объектов по результатам подробного анализа статусов и итогов проверочной разметки по методу тест-ретест. В завершении работы нами приводятся способы по повышению непротиворечивости датасета, которые в дальнейших работах будут апробированы.
Ключевые слова:
агрегация мнений, нейростевые модели, анализ данных, деревья решений, статистические критерии
Автор: Николай Леонидович Андрейчик
Соавторы:
Андрейчик Николай Леонидович
Макаренко Андрей Викторович
Аннотация:
В данной работе предлагается метод по специфичному анализу создаваемых наборов данных сложно оцениваемых объектов в условиях реальных ситуаций, а также приводятся способы по улучшению согласованности оценок отдельных экспертов-разметчиков, с учетом особенностей последующей нейросетевой обработки формируемого набора данных (обучение и тестирование моделей). В качестве первого этапа анализа используется построение корреляционных матриц над всем множеством предполагаемых признаков, для выявление наиболее информативных низкоуровневых признаков объекта, максимально влияющих на итоговую оценку. Затем, на втором этапе, предлагается использовать деревья решений для проверки гипотезы о состоятельности логики принятия решения каждого из разметчиков по наиболее информативным признакам. На третьем этапе вводится метод оценки согласованности между экспертами, который включает в себя использования сильных статистических критериев и метрики относительного количества совпадений оценок. На четвертом этапе осуществляется попытка смягчения оценок для увеличения степени согласованности итоговой разметки. В заключительном, пятом этапе, показывается проблематика несогласованности первичных оценок признаков объектов по результатам подробного анализа статусов и итогов проверочной разметки по методу тест-ретест. В завершении работы нами приводятся способы по повышению непротиворечивости датасета, которые в дальнейших работах будут апробированы.
Ключевые слова:
агрегация мнений, нейростевые модели, анализ данных, деревья решений, статистические критерии