Modeli Transformera za predviđanje cena: Izvan LSTM-a

Izvršni rezime: Godinama su mreže Duge kratkoročne memorije (LSTM) bile zlatni standard za predviđanje vremenskih serija. Ali imale su manu: zaboravljale su podatke od pre 100 koraka. Uđite u Transformer. Prvobitno napravljen za jezik (ChatGPT), ispostavilo se da je "Samo-pažnja" (Self-Attention) savršena za razumevanje tržišnih ciklusa.

---

1. Uvod: Pažnja je sve što vam treba (Za Alpha-u)

Tržišta su jezik.

• Reči = Otkucaji cene (Price Ticks).
• Rečenice = Dnevne sveće.
• Pasusi = Tržišni ciklusi.

LSTM-ovi čitaju ovaj jezik reč po reč, zaboravljajući početak rečenice dok stignu do kraja. Transformeri čitaju celu istoriju odjednom, omogućavajući im da uoče korelacije između kraha 2026. i kraha 2020. trenutno.

2. Osnovna analiza: Mehanizam pažnje

2.1 Kako to radi

Mehanizam "Samo-pažnje" dodeljuje težinu svakoj prošloj sveći.

• Scenario: Bitcoin pada 5%.
• LSTM: Gleda samo poslednjih 10 sveća.
• Transformer: "Ovaj pad izgleda tačno kao Kaskada likvidacije iz maja 2021. Teško ću ponderisati te događaje."

2.2 Transformeri vremenske fuzije (TFT)

Google-ova TFT arhitektura je status quo u 2026. Kombinuje:

1. Statičke kovarijate: Metapodaci koji se ne menjaju (npr. "Ovo je AI novčić").
2. Poznati budući unosi: Datumi FOMC sastanaka ili Polovljenja (Halvings).
3. Posmatrani unosi: Cena i Obim.

Ovo omogućava modelu da predvidi ne samo šta će se desiti, već zašto (Interpretabilnost).

3. Tehnička implementacija: PyTorch Forecasting

Koristimo biblioteku pytorch-forecasting.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

4. Izazovi i rizici: Pristrasnost gledanja unapred

Najčešća greška u obuci Transformera je Pristrasnost gledanja unapred (Look-Ahead Bias). Ako nesvesno unesete "Sutrašnju cenu otvaranja" kao karakteristiku za "Sutrašnju cenu zatvaranja", model će imati 99% tačnosti u obuci i 0% u produkciji.

• Popravka: Strogo maskiranje budućih podataka u DataSaver cevovodu.

5. Budući izgledi: Temeljni modeli za finansije

Baš kao što je GPT-4 temeljni model za tekst, vidimo uspon FinGPT-a—modela treniranih na svakoj finansijskoj imovini u istoriji. Ne trenirate ih; samo ih fino podešavate (LoRA) na vašu specifičnu imovinu (npr. Dogecoin).

6. Česta pitanja: Transformeri

1. Da li je bolji od XGBoost-a? Za složene, multivarijabilne probleme sa dugom memorijom? Da. Za jednostavne tabelarne podatke? XGBoost je i dalje brži i konkurentan.

2. Koliko podataka mi treba? Transformeri su gladni podataka. Treba vam najmanje 100.000 redova podataka (5-minutne sveće za 2 godine) da biste dobili dobre rezultate.

3. Može li predvideti Crne labudove? Nijedan model ne može predvideti Crnog labuda (po definiciji). Ali Transformeri se prilagođavaju brže novim režimima nego LSTM-ovi.

4. Šta je "Verovatnoćno predviđanje"? Umesto da kaže "BTC će biti 100k $", TFT kaže "Postoji 90% šanse da će BTC biti između 98k $ i 102k $." Ovo je ključno za Upravljanje rizikom.

5. Da li mi treba GPU? Da. Treniranje Transformera na CPU-u je bolno sporo.