Transformatoru modeļi cenu prognozēšanai: Viņpus LSTM

Kopsavilkums: Gadiem ilgi Long Short-Term Memory (LSTM) tīkli bija zelta standarts laika rindu prognozēšanā. Taču tiem bija trūkums: tie aizmirsa datus no 100 soļiem pagātnē. Ienāk Transformators. Sākotnēji radīts valodai (ChatGPT), izrādās, ka "Paš-uzmanība" (Self-Attention) ir lieliski piemērota tirgus ciklu izprašanai.

---

1. Ievads: Uzmanība ir viss, kas jums nepieciešams (Alfai)

Tirgi ir valoda.

• Vārdi = Cenu atzīmes (Ticks).
• Teikumi = Dienas sveces.
• Rindkopas = Tirgus cikli.

LSTM lasa šo valodu vārdu pa vārdam, aizmirstot teikuma sākumu, kad sasniedz beigas. Transformatori lasa visu vēsturi uzreiz, ļaujot tiem acumirklī pamanīt korelācijas starp 2026. gada krahs un 2020. gada krahu.

2. Pamatlīmeņa analīze: Uzmanības mehānisms

2.1 Kā tas darbojas

"Paš-uzmanības" mehānisms piešķir svaru katrai pagātnes svecei.

• Scenārijs: Bitcoin krīt par 5%.
• LSTM: Skatās tikai uz pēdējām 10 svecēm.
• Transformators: "Šis kritums izskatās tieši tāpat kā 2021. gada maija Likvidācijas kaskāde. Es piešķiršu tiem notikumiem lielu svaru."

2.2 Temporālās saplūšanas transformatori (TFT)

Google TFT arhitektūra ir 2026. gada status quo. Tā apvieno:

1. Statiskās kovariācijas: Metadati, kas nemainās (piem., "Šī ir AI monēta").
2. Zināmās nākotnes ievades: FOMC sanāksmju vai Halving datumi.
3. Novērotās ievades: Cena un Apjoms.

Tas ļauj modelim prognozēt ne tikai kas notiks, bet arī kāpēc (Interpretējamība).

3. Tehniskā ieviešana: PyTorch Forecasting

Mēs izmantojam pytorch-forecasting bibliotēku.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
)

4. Izaicinājumi un riski: "Skatīšanās uz priekšu neobjektivitāte"

Visizplatītākā kļūda Transformatoru apmācībā ir Look-Ahead Bias. Ja jūs neviļus padodat "Rītdienas atvēršanas cenu" kā iezīmi "Rītdienas slēgšanas cenai", modelim apmācībā būs 99% precizitāte un 0% ražošanā.

5. Nākotnes perspektīva: Pamata modeļi finansēm

Tāpat kā GPT-4 ir teksta pamata modelis, mēs redzam FinGPT pieaugumu — modeļus, kas apmācīti uz katru finanšu aktīvu vēsturē. Jūs tos neapmācāt; jūs tos tikai precīzi noregulējat (LoRA) savam konkrētajam aktīvam.

6. BUJ: Transformatori

1. Vai tas ir labāks par XGBoost? Sarežģītām, daudzfaktoru problēmām ar ilgu atmiņu? Jā.

2. Cik daudz datu man vajag? Transformatori ir izsalkuši pēc datiem. Jums vajag vismaz 100 000 datu rindu.

3. Vai tas var paredzēt Melnos gulbjus? Neviens modelis nevar paredzēt Melno gulbi. Bet Transformatori pielāgojas ātrāk jauniem režīmiem nekā LSTM.

4. Kas ir "Varbūtiskā prognozēšana"? Tā vietā, lai teiktu "BTC būs 100k USD", TFT saka "Ir 90% iespēja, ka BTC būs starp 98k un 102k USD". Tas ir ļoti svarīgi riska pārvaldībai.

5. Vai man vajag GPU? Jā. Transformatora apmācība uz CPU ir mokoši lēna.