Применение иммерсивного интерфейса и семантического анализа видеопотока для повышения ситуационной осведомлённости оператора

Автор(ы): Аль Мажариш Г., Коргин Н.А., Теплухин Р.Г.

Выпуск: 122

Рубрика: Управление подвижными объектами и навигация

Год: 2026

Библиография: Аль Мажариш Г., Коргин Н.А., Теплухин Р.Г. Применение иммерсивного интерфейса и семантического анализа видеопотока для повышения ситуационной осведомлённости оператора // Управление большими системами. - 2026. - Вып. 122. - С.311-331.

Дата опубликования: 31.07.2026

Ключевые слова: ситуационная осведомлённость, панорамное видео, человеко-машинный интерфейс, семантический анализ видеопотока, маломерное автономное судно

Аннотация: Современные автоматизированные системы управления мобильными роботами широко применяются в задачах мониторинга, поиска и спасательных операций, инспекции инфраструктуры и работы в опасных для человека средах. Несмотря на развитие автономных алгоритмов, во многих практических сценариях ключевую роль продолжает играть оператор, принимающий решения на основе поступающей визуальной информации. В таких условиях эффективность управления в значительной степени определяется уровнем ситуационной осведомлённости оператора, которая может существенно снижаться из-за ограниченного поля зрения, фрагментации видеопотока и высокой когнитивной нагрузки. В работе рассматривается подход к повышению эффективности автоматизированной системы управления мобильным роботом за счёт интеграции подсистемы панорамного обзора с семантическим анализом видеопотока и иммерсивного интерфейса оператора. Анализируются существующие решения в области панорамной визуализации, дополненной реальности и семантической интерпретации изображений, а также их ограничения с точки зрения поддержки ситуационной осведомлённости. Рассматриваются перспективы применения панорамных камер для повышения эффективности систем осведомленности маломерного автономного судна. Описывается реализованный прототип панорамного интерфейса виртуальной реальности и формулируются направления дальнейших исследований, включая интеграцию методов компьютерного зрения и разработку методик оценки ситуационной осведомлённости.

Author(s): Al Mazharish G., Korgin N., Teplukhin R.

Article title: Using an immersive interface and semantic analysis video stream to enhance operator situational awareness

Issue: 122

Year: 2026

Keywords: automated control systems, situational awareness, panoramic video, human–machine interface, video stream analysis, small autonomous vessel

Abstract: Modern automated control systems for mobile robots are extensively employed in monitoring, search and rescue operations, infrastructure inspection, and tasks conducted in hazardous environments. Despite significant advances in autonomous algorithms, the human operator often remains a critical decision-making element, relying primarily on visual information. In such scenarios, control performance largely depends on the operator’s situational awareness, which may deteriorate due to limited field of view, fragmentation of visual data, and increased cognitive workload. This paper investigates an approach to improving the efficiency of an automated mobile robot control system through the integration of a panoramic vision subsystem with semantic video stream analysis and an immersive operator interface. Existing solutions in panoramic visualization, augmented reality, and semantic image interpretation are reviewed, with emphasis on their limitations in supporting situational awareness. The prospects for using panoramic cameras to improve the efficiency of small autonomous vessel awareness systems are considered. A prototype panoramic VR interface is described, and directions for further research are outlined, including the integration of computer vision techniques and the development of methodologies for situational awareness assessment.