Modele Transformer do Przewidywania Cen: Poza LSTM

Streszczenie: Przez lata sieci Long Short-Term Memory (LSTM) były złotym standardem w prognozowaniu szeregów czasowych. Miały jednak wadę: zapominały dane sprzed 100 kroków. Poznaj Transformera. Oryginalnie zbudowany dla języka (ChatGPT), okazuje się, że "Self-Attention" (Samo-Uwaga) jest idealna do zrozumienia cykli rynkowych.

---

1. Wprowadzenie: Attention is All You Need (Dla Alfy)

Rynki to język.

• Słowa = Tiki cenowe.
• Zdania = Świece dzienne.
• Akapity = Cykle rynkowe.

LSTM czytają ten język słowo po słowie, zapominając początek zdania, zanim dotrą do końca. Transformery czytają całą historię naraz, co pozwala im natychmiast dostrzec korelacje między krachem w 2026 r. a krachem w 2020 r.

2. Analiza Podstawowa: Mechanizm Uwagi

2.1 Jak to działa

Mechanizm "Self-Attention" przypisuje wagę każdej przeszłej świecy.

• Scenariusz: Bitcoin spada o 5%.
• LSTM: Patrzy tylko na ostatnie 10 świec.
• Transformer: "Ten spadek wygląda dokładnie jak Kaskada Likwidacji z maja 2021 r. Zastosuję dużą wagę do tamtych wydarzeń."

2.2 Temporal Fusion Transformers (TFT)

Architektura TFT Google'a to status quo w 2026 r. Łączy ona:

1. Zmienne towarzyszące statyczne: Metadane, które się nie zmieniają (np. "To jest moneta AI").
2. Znane przyszłe dane wejściowe: Daty posiedzeń FOMC lub Halvingów.
3. Obserwowane dane wejściowe: Cena i Wolumen.

Pozwala to modelowi przewidzieć nie tylko co się stanie, ale dlaczego (Interpretowalność).

3. Implementacja Techniczna: PyTorch Forecasting

Używamy biblioteki pytorch-forecasting.

# Konfiguracja Temporal Fusion Transformer 2026
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Zdefiniuj zbiór danych
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Spójrz wstecz 24 godziny
    max_encoder_length=168, # Spójrz wstecz 7 dni
    min_prediction_length=1,
    max_prediction_length=24, # Przewiduj następne 24 godziny
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Zainicjuj TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 kwantyli dla prognozy probabilistycznej
    loss=QuantileLoss(),
)

4. Wyzwania i Ryzyka: "Błąd Patrzenia w Przyszłość" (Look-Ahead Bias)

Najczęstszym błędem w szkoleniu Transformerów jest Look-Ahead Bias. Jeśli nieświadomie podasz "Jutrzejszą Cenę Otwarcia" jako cechę dla "Jutrzejszej Ceny Zamknięcia", model będzie miał 99% dokładności w szkoleniu i 0% w produkcji.

• Naprawa: Ścisłe maskowanie przyszłych danych w potoku DataSaver.

5. Perspektywy na Przyszłość: Modele Fundacyjne dla Finansów

Tak jak GPT-4 jest Modelem Fundacyjnym dla tekstu, widzimy wzrost FinGPT — modeli trenowanych na każdym aktywie finansowym w historii. Nie trenujesz ich; po prostu dostrajasz (LoRA) na swoim konkretnym aktywie (np. Dogecoin).

6. FAQ: Transformery

1. Czy to lepsze niż XGBoost? Dla złożonych, wielozmiennych problemów z długą pamięcią? Tak. Dla prostych danych tabelarycznych? XGBoost jest nadal szybszy i konkurencyjny.

2. Ile danych potrzebuję? Transformery są głodne danych. Potrzebujesz co najmniej 100 000 wierszy danych (świece 5-minutowe przez 2 lata), aby uzyskać dobre wyniki.

3. Czy może przewidzieć Czarne Łabędzie? Żaden model nie może przewidzieć Czarnego Łabędzia (z definicji). Ale Transformery adaptują się szybciej do nowych reżimów niż LSTM.

4. Co to jest "Prognozowanie Probabilistyczne"? Zamiast mówić "BTC będzie po 100 tys. USD", TFT mówi "Istnieje 90% szans, że BTC będzie między 98 tys. a 102 tys. USD". Jest to kluczowe dla Zarządzania Ryzykiem.

5. Czy potrzebuję GPU? Tak. Trenowanie Transformera na CPU jest boleśnie powolne.