Fiyat Tahmini için Transformer Modelleri: LSTM'nin Ötesinde

Yönetici Özeti: Yıllardır, Uzun Kısa Süreli Bellek (LSTM) ağları, zaman serisi tahmini için altın standarttı. Ancak bir kusurları vardı: 100 adım önceki verileri unutuyorlardı. Karşınızda Transformer. Başlangıçta dil için (ChatGPT) oluşturulmuş olsa da, "Self-Attention"ın (Öz Dikkat) piyasa döngülerini anlamak için mükemmel olduğu ortaya çıktı.

---

1. Giriş: İhtiyacınız Olan Tek Şey Dikkat (Alfa İçin)

Piyasalar bir dildir.

• Kelimeler = Fiyat Tikleri.
• Cümleler = Günlük Mumlar.
• Paragraflar = Piyasa Döngüleri.

LSTM'ler, bu dili kelime kelime okur ve sona ulaştıklarında cümlenin başını unuturlar. Transformerlar tüm geçmişi aynı anda okuyarak 2026 çöküşü ile 2020 çöküşü arasındaki korelasyonları anında tespit etmelerini sağlar.

2. Temel Analiz: Dikkat Mekanizması

2.1 Nasıl Çalışır

"Self-Attention" mekanizması, geçmişteki her muma bir ağırlık atar.

• Senaryo: Bitcoin %5 düşer.
• LSTM: Sadece son 10 muma bakar.
• Transformer: "Bu düşüş tam olarak Mayıs 2021'deki Likidasyon Kaskadı'na benziyor. Bu olaylara büyük ağırlık vereceğim."

2.2 Zamansal Füzyon Transformerları (TFT)

Google'ın TFT mimarisi, 2026'nın statükosudur. Şunları birleştirir:

1. Statik Ortak Değişkenler: Değişmeyen meta veriler (örneğin, "Bu bir YZ Coini").
2. Bilinen Gelecek Girdiler: FOMC toplantılarının veya Halving'lerin tarihleri.
3. Gözlemlenen Girdiler: Fiyat ve Hacim.

Bu, modelin sadece ne olacağını değil, neden olacağını (Yorumlanabilirlik) tahmin etmesini sağlar.

3. Teknik Uygulama: PyTorch Forecasting

pytorch-forecasting kütüphanesini kullanıyoruz.

# 2026 Zamansal Füzyon Transformer Kurulumu
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Veri Setini Tanımla
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # 24 saat geriye bak
    max_encoder_length=168, # 7 gün geriye bak
    min_prediction_length=1,
    max_prediction_length=24, # Sonraki 24 saati tahmin et
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# TFT'yi Başlat
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # Olasılıksal tahmin için 7 kantil
    loss=QuantileLoss(),
)

4. Zorluklar ve Riskler: "İleriye Bakma Yanlılığı" (Look-Ahead Bias)

Transformer eğitimindeki en yaygın hata Look-Ahead Biastır. Farkında olmadan "Yarının Açılış Fiyatı"nı "Yarının Kapanış Fiyatı" için bir özellik olarak beslerseniz, model eğitimde %99 doğruluğa ve üretimde %0 doğruluğa sahip olacaktır.

• Çözüm: DataSaver boru hattında gelecekteki verilerin sıkı bir şekilde maskelenmesi.

5. Geleceğe Bakış: Finans için Temel Modeller

GPT-4'ün metin için bir Temel Model olması gibi, tarihteki her finansal varlık üzerinde eğitilmiş modeller olan FinGPT'nin yükselişini görüyoruz. Onları eğitmezsiniz; sadece belirli varlığınızda (örneğin, Dogecoin) ince ayar (LoRA) yaparsınız.

6. SSS: Transformerlar

1. XGBoost'tan daha mı iyi? Uzun hafızalı karmaşık, çok değişkenli problemler için mi? Evet. Basit tablosal veriler için mi? XGBoost hala daha hızlı ve rekabetçi.

2. Ne kadar veriye ihtiyacım var? Transformerlar veriye açtır. İyi sonuçlar elde etmek için en az 100.000 satır veriye (2 yıl boyunca 5 dakikalık mumlar) ihtiyacınız vardır.

3. Siyah Kuğuları tahmin edebilir mi? Hiçbir model (tanım gereği) bir Siyah Kuğu'yu tahmin edemez. Ancak Transformerlar, yeni rejimlere LSTM'lerden daha hızlı uyum sağlar.

4. "Olasılıksal Tahmin" nedir? TFT, "BTC 100 bin dolar olacak" demek yerine, "BTC'nin 98 bin dolar ile 102 bin dolar arasında olma ihtimali %90'dır" der. Bu, Risk Yönetimi için çok önemlidir.

5. Bir GPU'ya ihtiyacım var mı? Evet. Bir Transformer'ı CPU üzerinde eğitmek acı verici derecede yavaştır.