Transformer-modeller för prisprognoser: Bortom LSTM

Sammanfattning: I åratal var nätverk med lång korttidsminne (LSTM) guldstandarden för tidsserieprognoser. Men de hade en brist: de glömde data från 100 steg sedan. Möt Transformer. Ursprungligen byggd för språk (ChatGPT), visar det sig att 'Self-Attention' (Egenuppmärksamhet) är perfekt för att förstå marknadscykler.

---

1. Introduktion: Attention is All You Need (För Alpha)

Marknader är ett språk.

• Ord = Pris-ticks.
• Meningar = Dagliga ljus.
• Stycken = Marknadscykler.

LSTM:er läser detta språk ord för ord och glömmer början av meningen när de når slutet. Transformers läser hela historien på en gång, vilket gör att de omedelbart kan upptäcka korrelationer mellan kraschen 2026 och kraschen 2020.

2. Kärnanalys: Uppmärksamhetsmekanismen

2.1 Hur det fungerar

Mekanismen "Self-Attention" tilldelar en vikt till varje tidigare ljus.

• Scenario: Bitcoin sjunker 5%.
• LSTM: Tittar bara på de senaste 10 ljusen.
• Transformer: "Detta fall ser precis ut som Likvidationskaskaden i maj 2021. Jag kommer att vikta de händelserna tungt."

2.2 Temporal Fusion Transformers (TFT)

Googles TFT-arkitektur är status quo 2026. Den kombinerar:

1. Statiska kovariater: Metadata som inte förändras (t.ex. "Detta är ett AI-mynt").
2. Kända framtida indata: Datum för FOMC-möten eller halveringar.
3. Observerade indata: Pris och Volym.

Detta gör att modellen kan förutsäga inte bara vad som kommer att hända, utan varför (Tolkningsbarhet).

3. Teknisk implementering: PyTorch Forecasting

Vi använder biblioteket pytorch-forecasting.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Definiera Datasetet
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Titta tillbaka 24 timmar
    max_encoder_length=168, # Titta tillbaka 7 dagar
    min_prediction_length=1,
    max_prediction_length=24, # Förutsäg nästa 24 timmar
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initiera TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 kvantiler för sannolikhetsprognos
    loss=QuantileLoss(),
)

4. Utmaningar & Risker: "Look-Ahead Bias"

Det vanligaste felet vid Transformer-träning är Look-Ahead Bias. Om du ovetande matar in "Morgondagens öppningspris" som en funktion för "Morgondagens stängningspris", kommer modellen att ha 99% noggrannhet i träning och 0% i produktion.

• Fix: Strikt maskering av framtida data i DataSaver-pipeline.

5. Framtidsutsikter: Grundmodeller för finans

Precis som GPT-4 är en grundmodell för text, ser vi uppgången av FinGPT — modeller tränade på varje finansiell tillgång i historien. Du tränar dem inte; du finjusterar (LoRA) dem bara på din specifika tillgång (t.ex. Dogecoin).

6. FAQ: Transformers

1. Är det bättre än XGBoost? För komplexa, multivariabla problem med långt minne? Ja. För enkla tabelldata? XGBoost är fortfarande snabbare och konkurrenskraftigt.

2. Hur mycket data behöver jag? Transformers är datahungriga. Du behöver minst 100 000 rader data (5-minuters ljus i 2 år) för att få bra resultat.

3. Kan den förutsäga Svarta Svanar? Ingen modell kan förutsäga en Svart Svan (per definition). Men Transformers anpassar sig snabbare till nya regimer än LSTM:er.

4. Vad är "Sannolikhetsprognos"? Istället för att säga "BTC kommer att bli $100k", säger TFT "Det är 90% chans att BTC kommer att ligga mellan $98k och $102k." Detta är avgörande för Riskhantering.

5. Behöver jag en GPU? Ja. Att träna en Transformer på CPU är smärtsamt långsamt.