Transformer Modellek Árfolyam Előrejelzéshez: Az LSTM-en Túl

Vezetői Összefoglaló: Évekig a Hosszú-Rövid Távú Memória (LSTM) hálózatok voltak az idősor-előrejelzés arany standardjai. De volt egy hibájuk: elfelejtették a 100 lépéssel ezelőtti adatokat. Íme a Transformer. Eredetileg nyelvi feldolgozásra készült (ChatGPT), de kiderült, hogy a "Self-Attention" (Ön-Figyelem) tökéletes a piaci ciklusok megértéséhez.

---

1. Bevezetés: A Figyelem Minden, Amire Szükséged Van (Az Alfához)

A piacok egy nyelvet alkotnak.

• Szavak = Ár tick-ek.
• Mondatok = Napi gyertyák.
• Bekezdések = Piaci ciklusok.

Az LSTM-ek szóról szóra olvassák ezt a nyelvet, és mire a mondat végére érnek, elfelejtik az elejét. A Transformerek egyszerre olvassák a teljes történelmet, lehetővé téve számukra, hogy azonnal kiszúrják a korrelációkat a 2026-os összeomlás és a 2020-as összeomlás között.

2. Alapelemzés: A Figyelem Mechanizmus

2.1 Hogyan működik

A "Self-Attention" mechanizmus súlyt rendel minden múltbeli gyertyához.

• Forgatókönyv: A Bitcoin 5%-ot esik.
• LSTM: Csak az utolsó 10 gyertyát nézi.
• Transformer: "Ez az esés pont úgy néz ki, mint a 2021. májusi Likvidálási Kaszkád. Nagy súlyt fogok adni azoknak az eseményeknek."

2.2 Temporális Fúziós Transformerek (TFT)

A Google TFT architektúrája a 2026-os status quo. A következőket kombinálja:

1. Statikus Kovariánsok: Metaadatok, amelyek nem változnak (pl. "Ez egy AI Érme").
2. Ismert Jövőbeli Bemenetek: FOMC ülések vagy Felezések (Halvings) dátumai.
3. Megfigyelt Bemenetek: Ár és Volumen.

Ez lehetővé teszi a modell számára, hogy ne csak azt jósolja meg, mi fog történni, hanem azt is, hogy miért (Értelmezhetőség).

3. Technikai Megvalósítás: PyTorch Forecasting

A pytorch-forecasting könyvtárat használjuk.

# 2026 Temporal Fusion Transformer Beállítás
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Az Adatkészlet Definiálása
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # 24 óra visszatekintés
    max_encoder_length=168, # 7 nap visszatekintés
    min_prediction_length=1,
    max_prediction_length=24, # Következő 24 óra előrejelzése
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# TFT Inicializálása
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 kvantilis a valószínűségi előrejelzéshez
    loss=QuantileLoss(),
)

4. Kihívások és Kockázatok: Az "Előretekintési Torzítás" (Look-Ahead Bias)

A Transformer képzés leggyakoribb hibája a Look-Ahead Bias. Ha tudatlanul betáplálod a "Holnapi Nyitóárat" jellemzőként a "Holnapi Záróárhoz", a modell 99%-os pontosságot ér el a képzés során, és 0%-ot élesben.

• Javítás: A jövőbeli adatok szigorú maszkolása a DataSaver pipeline-ban.

5. Jövőbeli Kilátások: Alapmodellek a Pénzügyekben

Ahogy a GPT-4 a szöveg Alapmodellje, úgy látjuk a FinGPT felemelkedését — modellek, amelyeket a történelem minden pénzügyi eszközén képeztek. Nem kell képezned őket; csak finomhangolnod (LoRA) a specifikus eszközödön (pl. Dogecoin).

6. GYIK: Transformerek

1. Jobb, mint az XGBoost? Összetett, többváltozós, hosszú memóriájú problémák esetén? Igen. Egyszerű táblázatos adatok esetén? Az XGBoost még mindig gyorsabb és versenyképes.

2. Mennyi adatra van szükségem? A Transformerek adatéhesek. Legalább 100 000 sornyi adatra van szükséged (5 perces gyertyák 2 éven keresztül) a jó eredményekhez.

3. Meg tudja jósolni a Fekete Hattyúkat? Egyetlen modell sem tudja megjósolni a Fekete Hattyúkat (definíció szerint). De a Transformerek gyorsabban alkalmazkodnak az új rendszerekhez, mint az LSTM-ek.

4. Mi az a "Valószínűségi Előrejelzés"? Ahelyett, hogy azt mondaná, "A BTC 100k dollár lesz", a TFT azt mondja: "90% az esélye annak, hogy a BTC 98k és 102k dollár között lesz." Ez kulcsfontosságú a Kockázatkezelés szempontjából.

5. Szükségem van GPU-ra? Igen. Transformer képzése CPU-n fájdalmasan lassú.