Моделі-трансформери для прогнозування цін: за межами LSTM

Резюме для керівництва: Протягом багатьох років мережі довгої короткострокової пам'яті (LSTM) були золотим стандартом для прогнозування часових рядів. Але вони мали ваду: вони забували дані 100 кроків тому. Зустрічайте Трансформер (Transformer). Спочатку створений для мови (ChatGPT), механізм "Self-Attention" (самоуваги) виявився ідеальним для розуміння ринкових циклів.

---

1. Вступ: Увага — це все, що вам потрібно (для альфи)

Ринки — це мова.

• Слова = Цінові тіки.
• Речення = Денні свічки.
• Абзаци = Ринкові цикли.

LSTM читають цю мову слово за словом, забуваючи початок речення на той час, коли доходять до кінця. Трансформери читають всю історію одразу, що дозволяє їм миттєво виявляти кореляції між крахом 2026 року та крахом 2020 року.

2. Основний аналіз: механізм уваги

2.1 Як це працює

Механізм "Self-Attention" (самоуваги) присвоює вагу кожній минулій свічці.

• Сценарій: Біткойн падає на 5%.
• LSTM: Дивиться лише на останні 10 свічок.
• Трансформер: "Це падіння виглядає точно так само, як каскад ліквідацій у травні 2021 року. Я надам великої ваги цим подіям".

2.2 Часові фузійні трансформери (TFT)

Архітектура Google TFT — це статус-кво 2026 року. Вона поєднує:

1. Статичні коваріати: Метадані, які не змінюються (наприклад, "Це ШІ-монета").
2. Відомі майбутні вхідні дані: Дати засідань FOMC або халвінгів.
3. Спостережувані вхідні дані: Ціна та об'єм.

Це дозволяє моделі передбачати не лише, що станеться, але й чому (інтерпретованість).

3. Технічна реалізація: PyTorch Forecasting

Ми використовуємо бібліотеку pytorch-forecasting.

# Налаштування Temporal Fusion Transformer 2026
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Визначення набору даних
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Дивитися назад на 24 години
    max_encoder_length=168, # Дивитися назад на 7 днів
    min_prediction_length=1,
    max_prediction_length=24, # Прогнозувати наступні 24 години
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Ініціалізація TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 квантилів для імовірнісного прогнозу
    loss=QuantileLoss(),
)

4. Виклики та ризики: "Упередженість передбачення" (Look-Ahead Bias)

Найпоширеніша помилка при навчанні трансформерів — це Look-Ahead Bias. Якщо ви мимоволі подасте "Ціну відкриття завтрашнього дня" як фічу для "Ціни закриття завтрашнього дня", модель матиме точність 99% при навчанні і 0% в реальній роботі.

• Виправлення: Суворе маскування майбутніх даних у пайплайні DataSaver.

5. Перспективи на майбутнє: Базові моделі для фінансів

Так само, як GPT-4 є базовою моделлю для тексту, ми спостерігаємо зростання FinGPT — моделей, навчених на кожному фінансовому активі в історії. Ви не навчаєте їх; ви просто донавчаєте (LoRA) їх на вашому конкретному активі (наприклад, Dogecoin).

6. FAQ: Трансформери

1. Це краще, ніж XGBoost? Для складних багатовимірних задач з довгою пам'яттю? Так. Для простих табличних даних? XGBoost все ще швидший і конкурентоспроможний.

2. Скільки даних мені потрібно? Трансформери жадібні до даних. Вам потрібно щонайменше 100 000 рядків даних (5-хвилинні свічки за 2 роки), щоб отримати хороші результати.

3. Чи може він передбачити "Чорних лебедів"? Жодна модель не може передбачити "Чорного лебедя" (за визначенням). Але трансформери адаптуються до нових режимів швидше, ніж LSTM.

4. Що таке "Імовірнісне прогнозування"? Замість того, щоб казати "BTC коштуватиме $100k", TFT каже "Існує 90% ймовірність того, що BTC буде знаходитися в діапазоні від $98k до $102k". Це критично важливо для управління ризиками.

5. Чи потрібен мені GPU? Так. Навчання трансформера на CPU болісно повільне.