Распознавание сцен в задаче глобальной локализации мобильного робота с использованием моделей векторных представлений изображений и графовых подходов

Автор(ы): Московский А.Д.

Выпуск: 114

Рубрика: Управление подвижными объектами и навигация

Год: 2025

Библиография: Московский А.Д. Распознавание сцен в задаче глобальной локализации мобильного робота с использованием моделей векторных представлений изображений и графовых подходов // Управление большими системами. - 2025. - Вып. 114. - С.307-344.

Дата опубликования: 31.03.2025

Ключевые слова: локализация мобильных роботов, распознавание сцен, векторное представление изображения, теория графов

Аннотация: Работа посвящена задаче локализации мобильных роботов по визуальным семантическим данным. Центральным элементом такой задачи является распознавание сцен – поиск соответствия между наблюдаемыми объектами и объектами, нанесенными на карту местности (семантическая карта). Предлагаются два метода, использующие определение геометрических особенностей на наблюдаемой сцене и поиск их на карте с помощью различных подходов на графах. Предложенный способ определения отношений между объектами, использующийся в обоих методах, позволяет учитывать погрешности оценки расстояний бортовыми сенсорами. Помимо использования геометрических особенностей в работе также рассматривается применение нейросетевых моделей, которые формируют вектор признаков по изображению, тем самым позволяя определить их визуальное сходство. Визуальное сходство используется для нормирования и оценки результатов, полученных предложенными методами на основе графовых подходов. Кроме того, был модифицирован открытый набор данных KITTI-360 для оценки точности решения задач распознавания сцен. Эксперименты на полученном наборе данных продемонстрировали, что предлагаемый подход, сочетающий геометрические особенности и визуальное сходство, значительно повышает точность рассмотренных методов распознавания сцен. По результатм экспериментов сформированы некоторые рекомендации по использованию данных подходов на практике.

Author(s): Moscowsky A.

Article title: Scene recognition for the mobile robot global localization problem based on image vectorization and graphs approaches

Issue: 114

Year: 2025

Keywords: mobile robot localaization, scene recognition, image vectorization, graph theory

Abstract: The paper is devoted to the problem of localization of mobile robots based on visual semantic data. The central element of such a problem is scene recognition task, i.e. searching for a correspondence between observed objects and objects on a semantic map. Paper proposes two methods based on definition of geometric features in the observed scene and searching for them on the map using various graph approaches. The proposed method for determining the relationships between objects, used in both methods, allows taking into account the errors in estimating distances by onboard sensors. In addition to using geometric features, the paper also considers the use of neural network models forming a feature vector based on an image, determining their visual similarity. Visual similarity is used to evaluate and sort the results obtained by the proposed methods based on graph approaches. In addition, the open KITTI-360 dataset was modified to evaluate the accuracy of solving scene recognition problems. Experiments on the resulting dataset demonstrated that the proposed approach, which combines geometric features and visual similarity, significantly increases the accuracy of the considered scene recognition methods. Based on the results of the experiments, some recommendations were formulated for the use of these approaches in practice.