Modely Transformer pro predikci cen: Co je za LSTM

Shrnutí pro vedoucí pracovníky: Po celá léta byly sítě Long Short-Term Memory (LSTM) zlatým standardem pro prognózování časových řad. Měly ale chybu: zapomínaly data z doby před 100 kroky. Vstupte do světa Transformeru. Původně vytvořený pro jazyk (ChatGPT), ukazuje se, že 'Self-Attention' (sebe-pozornost) je ideální pro pochopení tržních cyklů.

---

1. Úvod: Attention is All You Need (Pro Alfu)

Trhy jsou jazyk.

• Slova = Cenové ticky.
• Věty = Denní svíčky.
• Odstavce = Tržní cykly.

LSTM čtou tento jazyk slovo od slova a zapomínají na začátek věty v okamžiku, kdy dosáhnou konce. Transformery čtou celou historii najednou, což jim umožňuje okamžitě odhalit korelace mezi kráchem v roce 2026 a kráchem v roce 2020.

2. Základní analýza: Mechanismus pozornosti

2.1 Jak to funguje

Mechanismus "Self-Attention" přiřazuje váhu každé minulé svíčce.

• Scénář: Bitcoin klesne o 5 %.
• LSTM: Dívá se pouze na posledních 10 svíček.
• Transformer: "Tento pokles vypadá přesně jako likvidační kaskáda z května 2021. Těmto událostem přikládám velkou váhu."

2.2 Temporal Fusion Transformers (TFT)

Google architektura TFT je status quo roku 2026. Kombinuje:

1. Statické kovariáty: Metadata, která se nemění (např. "Toto je AI mince").
2. Známé budoucí vstupy: Data zasedání FOMC nebo půlení (Halvings).
3. Pozorované vstupy: Cena a objem.

To umožňuje modelu předpovídat nejen co se stane, ale také proč (interpretovatelnost).

3. Technická implementace: PyTorch Forecasting

Používáme knihovnu pytorch-forecasting.

# Nastavení Temporal Fusion Transformer 2026
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Definice datasetu
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Ohlédnutí o 24 hodin
    max_encoder_length=168, # Ohlédnutí o 7 dní
    min_prediction_length=1,
    max_prediction_length=24, # Předpověď na dalších 24 hodin
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Inicializace TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 kvantilů pro pravděpodobnostní předpověď
    loss=QuantileLoss(),
)

4. Výzvy a rizika: "Look-Ahead Bias" (Předpojatost pohledu vpřed)

Nejčastější chybou při trénování Transformeru je Look-Ahead Bias. Pokud nevědomky zadáte "zítřejší otevírací cenu" jako funkci pro "zítřejší uzavírací cenu", model bude mít při trénování 99% přesnost a v produkci 0%.

• Oprava: Přísné maskování budoucích dat v pipeline DataSaver.

5. Budoucí výhled: Základní modely pro finance

Stejně jako je GPT-4 základním modelem pro text, vidíme vzestup FinGPT – modelů trénovaných na každém finančním aktivu v historii. Netrénujete je; pouze je dolaďujete (LoRA) na své konkrétní aktivum (např. Dogecoin).

6. Často kladené otázky: Transformery

1. Je to lepší než XGBoost? Pro složité, vícerozměrné problémy s dlouhou pamětí? Ano. Pro jednoduchá tabulková data? XGBoost je stále rychlejší a konkurenceschopný.

2. Kolik dat potřebuji? Transformery jsou hladové po datech. K dosažení dobrých výsledků potřebujete alespoň 100 000 řádků dat (5minutové svíčky za 2 roky).

3. Dokáže předpovídat Černé labutě? Žádný model nemůže předpovědět Černou labuť (z definice). Transformery se ale přizpůsobují novým režimům rychleji než LSTM.

4. Co je "Pravděpodobnostní předpovídání"? Místo toho, aby TFT řekl "BTC bude 100 000 $", říká "Existuje 90% šance, že BTC bude mezi 98 000 $ a 102 000 $." To je klíčové pro řízení rizik.

5. Potřebuji GPU? Ano. Trénování Transformeru na CPU je bolestivě pomalé.