Интернет конференция по проблемам теории и практики управленияНазвание: Спектральные характеристики параметров автокодировщика как векторное представление данных
Автор: Мария Александровна Никитина
Соавторы:
Бишук Антон Юрьевич, Бахтеев Олег Юрьевич
Аннотация:
В работе исследуется взаимосвязь между параметрами моделей автокодировщиков и статистическими свойствами данных, на которых они обучались. Под автокодировщиками понимаются модели с архитектурой кодировщик - декодировщик, обучаемые восстанавливать входные данные через сжатое латентное представление. Вводится предположение, что спектральные характеристики параметров модели могут рассматриваться как плотное векторное представление соответствующей выборки. Для проверки этой гипотезы проводится теоретическое и экспериментальное исследование, в котором формируется векторное представление на основе спектральных характеристик матриц параметров автокодировщика. Теоретический анализ показывает, что сингулярные числа матриц параметров моделей связаны с собственными значениями ковариационной матрицы обучающих данных, что обеспечивает передачу информации между пространством данных и пространством параметров. Экспериментальные результаты на наборах CIFAR-10 и FashionMNIST подтверждают, что полученные векторные представления позволяют с высокой точностью различать модели, обученные на различных подмножествах данных, без привлечения сложных алгоритмов формирования векторов и использования исходных выборок. Эти результаты свидетельствуют о том, что спектральные характеристики параметров обученных автокодировщиков могут рассматриваться как представления выборок.
Ключевые слова:
машинное обучение, нейронные сети, векторное представление, автокодировщик, спектральные характеристики, порождающие модели
Автор: Мария Александровна Никитина
Соавторы:
Бишук Антон Юрьевич, Бахтеев Олег Юрьевич
Аннотация:
В работе исследуется взаимосвязь между параметрами моделей автокодировщиков и статистическими свойствами данных, на которых они обучались. Под автокодировщиками понимаются модели с архитектурой кодировщик - декодировщик, обучаемые восстанавливать входные данные через сжатое латентное представление. Вводится предположение, что спектральные характеристики параметров модели могут рассматриваться как плотное векторное представление соответствующей выборки. Для проверки этой гипотезы проводится теоретическое и экспериментальное исследование, в котором формируется векторное представление на основе спектральных характеристик матриц параметров автокодировщика. Теоретический анализ показывает, что сингулярные числа матриц параметров моделей связаны с собственными значениями ковариационной матрицы обучающих данных, что обеспечивает передачу информации между пространством данных и пространством параметров. Экспериментальные результаты на наборах CIFAR-10 и FashionMNIST подтверждают, что полученные векторные представления позволяют с высокой точностью различать модели, обученные на различных подмножествах данных, без привлечения сложных алгоритмов формирования векторов и использования исходных выборок. Эти результаты свидетельствуют о том, что спектральные характеристики параметров обученных автокодировщиков могут рассматриваться как представления выборок.
Ключевые слова:
машинное обучение, нейронные сети, векторное представление, автокодировщик, спектральные характеристики, порождающие модели