Задача об оптимальном исполнении биржевых заявок с применением обучения с подкреплением

Автор(ы): Половников Д.С., Семенов М.Е.

Выпуск: 119

Рубрика: Управление в социально-экономических системах

Год: 2026

Библиография: Половников Д.С., Семенов М.Е. Задача об оптимальном исполнении биржевых заявок с применением обучения с подкреплением // Управление большими системами. - 2026. - Вып. 119. - С.257-283.

Дата опубликования: 31.01.2026

Ключевые слова: оптимальное исполнение, московская биржа, обучение с подкреплением, дефицит исполнения, ценовое влияние

Аннотация: Задача об оптимальном исполнении биржевых заявок является одной из самых важных для всех институциональных инвесторов как зарубежных, так и~российского фондового рынка. Представлен подход для поиска оптимальной торговой стратегии, основанный на глубоком обучении с подкреплением (RL). Для анализа и моделирования среды мы используем исторические потоки входящих заявок на Московской бирже за апрель 2025 года для акций обыкновенных ПАО~«Аэрофлот» (AFLT). Главные нововведения в рассматриваемой модели заключаются в более полном описании текущего рыночного состояния и применении более сложных моделей ценового влияния, приближающих условия торговли в моделируемой среде к реальным. Основные компоненты, используемые в модели,~-- состояние таблицы котировок, пропагатор и зависящая от объема исполнения функция временного влияния, -- являются важными факторами принятия решений агента. Для того чтобы сделать систему принятия решений более прозрачной, мы исследуем вопрос важности признаков состояния среды, применяя аппарат теории игр и рассчитывая значения Шепли для каждого признака. Полученные результаты показывают, что RL-решение в рамках представленной модели оказывается лучше тривиальных стратегий в терминах дефицита исполнения, а также что принятие решения зависит от текущего состояния таблицы котировок.

Author(s): Polovnikov D., Semenov M.

Article title: Optimal execution market orders via reinforcement learning

Issue: 119

Year: 2026

Keywords: optimal execution, moscow exchange, reinforcement learning, implementation shortfall, price impact

Abstract: The problem of optimal execution of exchange orders is among the most important for institutional investors in both international and Russian financial markets. This paper presents an approach to discovering an optimal trading strategy based on deep reinforcement learning (RL). For environment analysis and modeling, we use historical streams of incoming orders on the Moscow Exchange for April 2025 for the ordinary shares of Aeroflot (AFLT). The key innovations of the proposed model lie in a more comprehensive representation of the current market state and in the use of more sophisticated price-impact models, which bring trading conditions in the simulated environment closer to those observed in reality. The main components incorporated into the model—limit order book state, a propagator, and a volume-dependent temporary-impact function—serve as important factors in the agent’s decision-making process. To enhance the transparency of the decision-making system, we examine the importance of the environment’s state features by applying tools from game theory and computing Shapley values for each feature. The results demonstrate that the RL-based solution within the proposed framework outperforms trivial strategies in terms of execution shortfall, and that its decisions indeed depend on the current state of the order book.