Вместо того, чтобы разрабатывать новые подходы, мы применим наше понимание глубоких Q-сетей к миру финансового трейдинга для решения реальных проблем. Хотя я не могу гарантировать, что код сделает вас миллионером на фондовом рынке или на Forex, мои намерения гораздо скромнее — продемонстрировать, как обучение с подкреплением можно расширить за пределы игр Atari и использовать в практических приложениях.

С помощью OpenAI Gym мы создадим индивидуальную среду фондового рынка для максимизации нашей прибыли. Мы будем обучать агента с помощью метода DQN. Наш подход здесь даст нам наилучшие шансы заработать деньги на биржевых торгах.

Трейдинг

Каждый день товары, акции и валюты наводняют рынки. В современном мире даже прогнозы погоды можно обменять на деньги, используя погодные производные. Глобальные финансовые рынки сложны, что и вызывает это явление. Чтобы защитить свою компанию от рисков, подумайте о приобретении производных от погодных условий, если получение прибыли зависит от погодных условий. Цены колеблются на разные товары. В результате торговли покупаются и продаются финансовые инструменты для различных целей, включая получение прибыли (инвестиции), смягчение колебаний цен (хеджирование) или просто удовлетворение собственных потребностей (например, закупка стали или конвертация долларов США в иены для выполнения договорных обязательств). обязательства).

Прогнозирование будущих ценовых колебаний на финансовых рынках всегда было увлечением на протяжении всей истории. Непреходящее любопытство к фондовому рынку проистекает из его заманчивых перспектив, таких как возможность неожиданной прибыли и способность защищаться от резких изменений рынка.

Бесчисленные финансовые консультанты, инвестиционные фирмы, банки и независимые трейдеры неустанно работают, чтобы предсказать, когда покупать и продавать, чтобы максимизировать прибыль.

Можем ли мы рассмотреть этот вопрос с точки зрения обучения с подкреплением? Допустим, у нас есть некоторое представление о рынке, и мы подумываем о покупке, продаже или удержании. Повышение цены до того, как мы купим, приведет к убытку; однако снижение цены приведет к положительному вознаграждению. Конечная цель нашего бизнеса – максимизация прибыли. Существует поразительная параллель между торговлей на рынке и обучением с подкреплением.

Данные

Для примера будем использовать биржевые цены России в 2015–2016 гг. Список комиссий можно найти в…