Modeli Transformer za napovedovanje cen: Onkraj LSTM

Izvršni povzetek: Leta so bila omrežja dolgega kratkoročnega spomina (LSTM) zlati standard za napovedovanje časovnih vrst. Vendar so imela napako: pozabila so podatke izpred 100 korakov. Vstopite v Transformer. Prvotno zgrajen za jezik (ChatGPT), se je izkazalo, da je "Samopozornost" popolna za razumevanje tržnih ciklov.

---

1. Uvod: Pozornost je vse, kar potrebujete (za Alpha)

Trgi so jezik.

• Besede = Cenovni kljukci (Ticks).
• Stavki = Dnevne sveče.
• Odstavki = Tržni cikli.

LSTM-ji berejo ta jezik besedo za besedo in pozabijo začetek stavka do takrat, ko pridejo do konca. Transformerji berejo celotno zgodovino naenkrat, kar jim omogoča, da takoj opazijo korelacije med zlomom 2026 in zlomom 2020.

2. Osnovna analiza: Mehanizem pozornosti

2.1 Kako deluje

Mehanizem "Samopozornosti" dodeli težo vsaki pretekli sveči.

• Scenarij: Bitcoin pade za 5 %.
• LSTM: Gleda le zadnjih 10 sveč.
• Transformer: "Ta padec izgleda natanko tako kot likvidacijska kaskada maja 2021. Te dogodke bom močno obtežil."

2.2 Časovni fuzijski transformatorji (TFT)

Googlova arhitektura TFT je status quo leta 2026. Združuje:

1. Statične sospremenljivke: Metapodatki, ki se ne spreminjajo (npr. "To je AI kovanec").
2. Znani prihodnji vhodi: Datumi sestankov FOMC ali razpolovitev.
3. Opazovani vhodi: Cena in Obseg.

To modelu omogoča napovedovanje ne le kaj se bo zgodilo, ampak zakaj (Interpretativnost).

3. Tehnična izvedba: PyTorch Forecasting

Uporabljamo knjižnico pytorch-forecasting.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

4. Izzivi in tveganja: Pristranskost "Gledanja naprej"

Najpogostejša napaka pri usposabljanju Transformerjev je Pristranskost gledanja naprej. Če nehote vnesete "Jutrišnjo odprto ceno" kot funkcijo za "Jutrišnjo zaprto ceno", bo imel model 99-odstotno natančnost pri usposabljanju in 0-odstotno v proizvodnji.

• Popravek: Strogo maskiranje prihodnjih podatkov v cevovodu DataSaver.

5. Prihodnji obeti: Temeljni modeli za finance

Tako kot je GPT-4 temeljni model za besedilo, vidimo vzpon FinGPT—modelov, usposobljenih na vseh finančnih sredstvih v zgodovini. Ne trenirate jih; samo natančno jih prilagodite (LoRA) na svojem specifičnem sredstvu (npr. Dogecoin).

6. Pogosta vprašanja: Transformerji

1. Je boljši od XGBoost? Za zapletene, večspremenljive probleme z dolgim spominom? Da. Za preproste tabelarične podatke? XGBoost je še vedno hitrejši in konkurenčen.

2. Koliko podatkov potrebujem? Transformerji so lačni podatkov. Potrebujete vsaj 100.000 vrstic podatkov (5-minutne sveče za 2 leti), da dobite dobre rezultate.

3. Ali lahko napove Črne labode? Noben model ne more napovedati Črnega laboda (po definiciji). Toda Transformerji se hitreje prilagajajo novim režimom kot LSTM-ji.

4. Kaj je "Verjetnostno napovedovanje"? Namesto da bi rekel "BTC bo 100k $", TFT pravi "Obstaja 90 % možnost, da bo BTC med 98k $ in 102k $." To je ključno za upravljanje tveganja.

5. Potrebujem GPE? Da. Usposabljanje Transformerja na CPE je boleče počasno.