Transformer-Modeller til Prisforudsigelse: Udover LSTM

Tiivistelmä: I årevis var Long Short-Term Memory (LSTM) netværk guldstandarden. Men de havde en fejl: de glemte data fra 100 trin siden. Indtast Transformer. Oprindeligt bygget til sprog (ChatGPT), viser det sig, at "Self-Attention" er perfekt til at forstå markedscyklusser.

1. Introduktion: Attention er Alt Hvad Du Behøver

Markeder er et sprog. LSTMs læser dette sprog ord-for-ord og glemmer begyndelsen af sætningen. Transformere læser hele historien på én gang.

2. Kerneanalyse: Opmærksomhedsmekanismen

2.1 Hvordan det Virker

"Self-Attention" mekanismen tildeler en vægt til hver tidligere candle.

• LSTM: Kigger kun på de sidste 10 candles.
• Transformer: "Dette fald ligner præcis Likvidationskaskaden fra maj 2021."

2.2 Temporal Fusion Transformers (TFT)

Googles TFT arkitektur kombinerer:

1. Statiske Kovariater
2. Kendte Fremtidige Inputs (FOMC møder).
3. Observerede Inputs (Pris og Volumen).

3. Teknisk Implementering: PyTorch Forecasting

Vi bruger pytorch-forecasting biblioteket.

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    output_size=7,  # 7 quantiles for probabilistic forecast
)

4. Udfordringer & Risici: "Look-Ahead Bias"

Den mest almindelige fejl er Look-Ahead Bias. Hvis du uforvarende fodrer "Morgendagens Åbningspris" som en funktion, vil modellen være ubrugelig i produktion.

5. Fremtidsudsigter: Fundamentmodeller for Finans

Ligesom GPT-4 er en Fundamentmodel for tekst, ser vi stigningen af FinGPT—modeller trænet på hvert finansielt aktiv i historien.

6. FAQ: Transformere

1. Er det bedre end XGBoost? Til komplekse problemer med lang hukommelse? Ja.

2. Hvor meget data har jeg brug for? Transformere er data-sultne. Du har brug for mindst 100.000 rækker data.

3. Hvad er "Probabilistisk Forudsigelse"? I stedet for at sige "BTC bliver 100k $," siger TFT'en "Der er en 90 % chance for, at BTC bliver mellem 98k $ og 102k $."