Transformer-mallit hinnan ennustamiseen: LSTM:n tuolle puolen

Tiivistelmä: Vuosia Long Short-Term Memory (LSTM) -verkot olivat kultainen standardi aikasarjaennustamisessa. Mutta niillä oli vika: ne unohtivat datan 100 askeleen takaa. Astu sisään Transformeri. Alun perin kielelle rakennettu (ChatGPT), osoittautuu, että "Itse-huomio" on täydellinen markkinasyklien ymmärtämiseen.

---

1. Johdanto: Huomio on kaikki mitä tarvitset (Alphan vuoksi)

Markkinat ovat kieli.

• Sanat = Hintatikit.
• Lauseet = Päiväkynttilät.
• Kappaleet = Markkinasyklit.

LSTM:t lukevat tätä kieltä sana sanalta, unohtaen lauseen alun ennen kuin ne saavuttavat lopun. Transformerit lukevat koko historian kerralla, sallien niiden havaita korrelaatiot Vuoden 2026 romahduksen ja vuoden 2020 romahduksen välillä välittömästi.

2. Ydinalyysi: Huomiomekanismi

2.1 Kuinka se toimii

"Itse-huomio" (Self-Attention) -mekanismi antaa painoarvon jokaiselle menneelle kynttilälle.

• Skenaario: Bitcoin putoaa 5 %.
• LSTM: Katsoo vain viimeistä 10 kynttilää.
• Transformer: "Tämä pudotus näyttää täsmälleen toukokuun 2021 likvidaatiokaskadilta. Painotan noita tapahtumia voimakkaasti."

2.2 Temporal Fusion Transformers (TFT)

Googlen TFT-arkkitehtuuri on vuoden 2026 status quo. Se yhdistää:

1. Staattiset kovariaatit: Metadata, joka ei muutu (esim. "Tämä on AI-kolikko").
2. Tunnetut tulevat syötteet: FOMC-kokousten päivämäärät.
3. Havaitut syötteet: Hinta ja volyymi.

3. Tekninen toteutus: PyTorch Forecasting

Käytämme pytorch-forecasting -kirjastoa.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

4. Haasteet ja riskit: "Katse eteenpäin -harha"

Yleisin virhe Transformer-koulutuksessa on Katse eteenpäin -harha (Look-Ahead Bias). Jos syötät vahingossa "Huomisen avaushinnan" ominaisuutena "Huomisen sulkemishinnalle", mallilla on 99 % tarkkuus koulutuksessa ja 0 % tuotannossa.

6. UKK: Transformerit

1. Onko se parempi kuin XGBoost? Monimutkaisille ongelmille pitkällä muistilla? Kyllä.

2. Kuinka paljon dataa tarvitsen? Transformerit ovat datanälkäisiä. Tarvitset vähintään 100 000 riviä dataa.

3. Voiko se ennustaa mustia joutsenia? Ei mikään malli voi ennustaa mustaa joutsenta. Mutta Transformerit sopeutuvat nopeammin uusiin hallintoihin kuin LSTM:t.

4. Mikä on "Todennäköisyysennuste"? Sen sijaan, että sanoisi "BTC on 100k $", TFT sanoo "On 90 % mahdollisuus, että BTC on välillä 98k $ ja 102k $".

5. Tarvitsenko GPU:n? Kyllä. Transformerin kouluttaminen CPU:lla on tuskallisen hidasta.