Як навчання з підкріпленням адаптується до нестабільності ринку

Більшість торгових ботів статичні. Ви встановлюєте параметри, а вони виконуються наосліп. Навчання з підкріпленням (RL) змінює гру, запроваджуючи агента, який навчається методом проб і помилок, оптимізуючи функцію винагороди (зазвичай прибутки та збитки).

Петля RL у торгівлі

1. Агент: Торговий бот.
2. Оточення: Ринок (ціни, книга замовлень).
3. Дія: Купуйте, Продавайте або Утримуйте.
4. Винагорода: Прибуток (позитивний) або збиток (негативний).

Агент постійно спостерігає за станом ринку, діє, отримує зворотний зв'язок. За мільйони симуляцій (або «епох») він вивчає політику, яка максимізує довгострокові винагороди.

Адаптація до волатильності

Суперсила RL — адаптація.

• Бичачий ринок: Агент дізнається, що «Купуй і тримай» приносить найвищу винагороду.
• Нестабільний ринок: Агент усвідомлює, що утримання веде до просадок, тому він перемикається на стиль середнього повернення.

На відміну від Grid Bots, які вимагають визначення діапазону, агент RL може знайти оптимальний діапазон динамічно.

Виклики RL

Не все гладко. Моделі RL можуть бути схильні до переобладнання — запам’ятовування минулого шуму замість вивчення справжніх шаблонів. Ось чому Feature Engineering має вирішальне значення для надання агенту чистих, значущих даних.

Спробуйте

Наші «адаптивні» стратегії на інформаційній панелі використовують принципи RL для коригування стоп-лоссів і тейк-профітів у режимі реального часу. Відчуйте еволюцію трейдингу.