Modely Transformer na predikciu ceny: Za hranicami LSTM

Výkonný súhrn: Roky boli siete Dlhej krátkodobej pamäte (Long Short-Term Memory - LSTM) zlatým štandardom pre predpovedanie časových radov. Ale mali chybu: zabúdali údaje spred 100 krokov. Vstúpte do Transformera. Pôvodne postavený pre jazyk (ChatGPT), ukazuje sa, že "Seba-pozornosť" (Self-Attention) je dokonalá na pochopenie trhových cyklov.

---

1. Úvod: Pozornosť je všetko, čo potrebujete (Pre Alfu)

Trhy sú jazyk.

• Slová = Cenové ticky.
• Vety = Denné sviečky.
• Odseky = Trhové cykly.

LSTM čítajú tento jazyk slovo po slove, pričom zabúdajú začiatok vety, kým sa dostanú na koniec. Transformery čítajú celú históriu naraz, čo im umožňuje okamžite spozorovať korelácie medzi krachom v roku 2026 a krachom v roku 2020.

2. Analýza jadra: Mechanizmus pozornosti

2.1 Ako to funguje

Mechanizmus "Seba-pozornosť" prideľuje váhu každej minulej sviečke.

• Scenár: Bitcoin klesne o 5 %.
• LSTM: Pozerá sa len na posledných 10 sviečok.
• Transformer: "Tento pokles vyzerá presne ako Kaskáda likvidácií z mája 2021. Týmto udalostiam pridelím veľkú váhu."

2.2 Časové fúzne transformery (Temporal Fusion Transformers - TFT)

Google architektúra TFT je status quo roku 2026. Kombinuje:

1. Statické kovariáty: Metadáta, ktoré sa nemenia (napr. "Toto je AI minca").
2. Známe budúce vstupy: Dátumy stretnutí FOMC alebo Halvingov.
3. Pozorované vstupy: Cena a Objem.

To umožňuje modelu predpovedať nielen čo sa stane, ale prečo (Interpretovateľnosť).

3. Technická implementácia: PyTorch Forecasting

Používame knižnicu pytorch-forecasting.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

4. Výzvy a riziká: "Zaujatosť z pohľadu dopredu" (Look-Ahead Bias)

Najčastejšou chybou pri trénovaní Transformerov je Look-Ahead Bias. Ak nevedomky vložíte "Zajtrajšiu otváraciu cenu" ako funkciu pre "Zajtrajšiu zatváraciu cenu", model bude mať 99 % presnosť pri trénovaní a 0 % v produkcii.

• Oprava: Prísne maskovanie budúcich údajov v pipeline DataSaver.

5. Výhľad do budúcnosti: Základné modely pre financie

Rovnako ako GPT-4 je základným modelom pre text, vidíme vzostup FinGPT—modelov trénovaných na každom finančnom aktíve v histórii. Netrénujete ich; len ich doladíte (LoRA) na vaše špecifické aktívum (napr. Dogecoin).

6. Často kladené otázky: Transformery

1. Je to lepšie ako XGBoost? Pre zložité, viacpremenné problémy s dlhou pamäťou? Áno. Pre jednoduché tabuľkové dáta? XGBoost je stále rýchlejší a konkurencieschopný.

2. Koľko dát potrebujem? Transformery sú hladné po dátach. Potrebujete aspoň 100 000 riadkov dát (5-minútové sviečky za 2 roky), aby ste dosiahli dobré výsledky.

3. Dokáže predpovedať Čierne labute? Žiadny model nemôže predpovedať Čiernu labuť (z definície). Ale Transformery sa prispôsobujú novým režimom rýchlejšie ako LSTM.

4. Čo je "Pravdepodobnostné prognózovanie"? Namiesto toho, aby povedal "BTC bude 100 tis. $", TFT hovorí "Je 90 % šanca, že BTC bude medzi 98 tis. $ a 102 tis. $". Toto je kľúčové pre riadenie rizík.

5. Potrebujem GPU? Áno. Trénovanie Transformera na CPU je bolestivo pomalé.