Model Transformer untuk Ramalan Harga: Melangkaui LSTM

Ringkasan Eksekutif: Selama bertahun-tahun, rangkaian Ingatan Jangka Pendek Panjang (LSTM) adalah standard emas untuk ramalan siri masa. Tetapi mereka mempunyai kelemahan: mereka melupakan data dari 100 langkah yang lalu. Masuklah Transformer. Asalnya dibina untuk bahasa (ChatGPT), ternyata 'Self-Attention' (Perhatian Diri) adalah sempurna untuk memahami kitaran pasaran.

---

1. Pengenalan: Attention is All You Need (Untuk Alpha)

Pasaran adalah bahasa.

• Perkataan = Tick Harga.
• Ayat = Lilin Harian (Daily Candles).
• Perenggan = Kitaran Pasaran.

LSTMs membaca bahasa ini perkataan demi perkataan, melupakan permulaan ayat apabila mereka sampai ke penghujung. Transformer membaca seluruh sejarah sekaligus, membolehkan mereka mengesan korelasi antara kejatuhan 2026 dan kejatuhan 2020 serta-merta.

2. Analisis Teras: Mekanisme Perhatian

2.1 Bagaimana Ia Berfungsi

Mekanisme "Self-Attention" memberikan berat kepada setiap lilin masa lalu.

• Senario: Bitcoin jatuh 5%.
• LSTM: Hanya melihat 10 lilin terakhir.
• Transformer: "Kejatuhan ini kelihatan sama seperti Lata Pembubaran (Liquidation Cascade) Mei 2021. Saya akan memberi berat yang besar kepada peristiwa-peristiwa itu."

2.2 Temporal Fusion Transformers (TFT)

Seni bina TFT Google adalah status quo 2026. Ia menggabungkan:

1. Kovariat Statik: Metadata yang tidak berubah (cth., "Ini adalah Syiling AI").
2. Input Masa Depan yang Diketahui: Tarikh mesyuarat FOMC atau Halving.
3. Input yang Diperhatikan: Harga dan Volum.

Ini membolehkan model meramalkan bukan sahaja apa yang akan berlaku, tetapi mengapa (Kebolehinterpretasian).

3. Pelaksanaan Teknikal: PyTorch Forecasting

Kami menggunakan perpustakaan pytorch-forecasting.

# Persediaan Temporal Fusion Transformer 2026
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Tentukan Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Lihat ke belakang 24 jam
    max_encoder_length=168, # Lihat ke belakang 7 hari
    min_prediction_length=1,
    max_prediction_length=24, # Ramalkan 24 jam seterusnya
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Mulakan TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 kuantil untuk ramalan kebarangkalian
    loss=QuantileLoss(),
)

4. Cabaran & Risiko: "Bias Melihat Ke Hadapan" (Look-Ahead Bias)

Kesalahan yang paling biasa dalam latihan Transformer ialah Look-Ahead Bias. Jika anda tanpa disedari memasukkan "Harga Pembukaan Esok" sebagai ciri untuk "Harga Penutupan Esok", model akan mempunyai ketepatan 99% dalam latihan dan 0% dalam pengeluaran.

• Pembaikan: Penopengan (masking) ketat data masa depan dalam saluran paip DataSaver.

5. Tinjauan Masa Depan: Model Asas untuk Kewangan

Sama seperti GPT-4 ialah Model Asas untuk teks, kita melihat kebangkitan FinGPT — model yang dilatih pada setiap aset kewangan dalam sejarah. Anda tidak melatihnya; anda hanya menyesuaikannya (LoRA) pada aset khusus anda (cth., Dogecoin).

6. Soalan Lazim: Transformer

1. Adakah ia lebih baik daripada XGBoost? Untuk masalah kompleks, berbilang pembolehubah dengan ingatan panjang? Ya. Untuk data jadual mudah? XGBoost masih lebih pantas dan kompetitif.

2. Berapakah data yang saya perlukan? Transformer lapar akan data. Anda memerlukan sekurang-kurangnya 100,000 baris data (lilin 5 minit selama 2 tahun) untuk mendapatkan hasil yang baik.

3. Bolehkah ia meramalkan Black Swan? Tiada model yang boleh meramalkan Black Swan (mengikut definisi). Tetapi Transformer menyesuaikan diri lebih cepat kepada rejim baharu berbanding LSTM.

4. Apakah itu "Ramalan Kebarangkalian"? Daripada mengatakan "BTC akan menjadi $100k", TFT berkata "Terdapat 90% peluang BTC akan berada di antara $98k dan $102k." Ini penting untuk Pengurusan Risiko.

5. Adakah saya memerlukan GPU? Ya. Melatih Transformer pada CPU adalah sangat perlahan.