Выявление одиночных аномалий в данных об энергопотреблении с использованием методов машинного обучения без учителя

Автор(ы): Марьясин О.Ю., Тихомиров Л.И.

Выпуск: 113

Рубрика: Управление в социально-экономических системах

Год: 2025

Библиография: Марьясин О.Ю., Тихомиров Л.И. Выявление одиночных аномалий в данных об энергопотреблении с использованием методов машинного обучения без учителя // Управление большими системами. - 2025. - Вып. 113. - С.232-272.

Дата опубликования: 31.01.2025

Ключевые слова: обнаружение одиночных аномалий, типовой суточный профиль энергопотребления, машинное обучение, пороговый алгоритм, ансамбли алгоритмов

Аннотация: Описаны исследования по выявлению одиночных аномалий в данных об энергопотреблении на примере двух разных наборов данных. Рассмотрены способы построения типовых шаблонов энергопотребления и представлен авторский способ построения типового суточного профиля энергопотребления. Для проведения численных экспериментов авторами был выбран 21 метод машинного обучения без учителя, подходящий для выявления одиночных аномалий. По результатам численных экспериментов были отмечены методы, наиболее удачно справившиеся с задачей выявления одиночных аномалий. Особое внимание в работе уделялось методам, не требующим дополнительных параметров, и современным перспективным методам на базе искусственных нейронных сетей. Лучшими алгоритмами по результатам испытаний оказались статистические алгоритмы, основанные на построении гистограмм. Одной из главных проблем, затронутых в работе, является проблема настройки параметра contamination для каждого рассмотренного алгоритма. Одним из решений данной проблемы являются использование пороговых алгоритмов. Показано, что если исходный алгоритм выявляет аномалии недостаточно хорошо (параметр contamination не настроен), то применение пороговых алгоритмов может существенно повысить точность обнаружения аномалий. Отмечены пороговые алгоритмы, использование которых для задач анализа аномалий в данных об энергопотреблении чаще других обеспечивает повышение точности. Применять пороговые алгоритмы можно как к результатам работы отдельных алгоритмов выявления аномалий, так и к результатам работы ансамблей алгоритмов, полученных с использованием различных стратегий комбинирования.

Author(s): Maryasin O., Tihomirov L.

Article title: Detecting point anomalies in energy consumption data using unsupervised machine learning methods

Issue: 113

Year: 2025

Keywords: point anomaly detection, typical daily energy consumption profile, machine learning, threshold algorithm, ensembles of algorithms

Abstract: The paper describes studies on detecting point anomalies in energy consumption data using two different data sets as an example. Methods for constructing typical energy consumption patterns are considered and the authors' method for constructing a typical daily energy consumption profile is presented. To conduct numerical experiments, the authors selected 21 unsupervised machine learning methods suitable for detecting point anomalies. Based on the results of numerical experiments, the methods that most successfully coped with the task of detecting point anomalies were noted. Particular attention in the work was paid to methods that do not require additional parameters and modern, promising methods based on artificial neural networks. According to the test results, the best algorithms were statistical algorithms based on constructing histograms. One of the main problems addressed in the work is the problem of setting the contamination parameter for each considered algorithm. One of the solutions to this problem is the use of threshold algorithms. It is shown that if the original algorithm does not detect anomalies well enough (the contamination parameter is not configured), then the use of threshold algorithms can significantly improve the accuracy of anomaly detection. Threshold algorithms are noted, the use of which for the tasks of analyzing anomalies in energy consumption data, most often ensures an increase in accuracy. Threshold algorithms can be applied both to the results of individual anomaly detection algorithms and to the results of ensembles of algorithms obtained using various combination strategies.