ტრანსფორმერის მოდელები ფასების პროგნოზირებისთვის: LSTM-ის მიღმა

აღმასრულებელი რეზიუმე: წლების განმავლობაში, გრძელი მოკლევადიანი მეხსიერების (LSTM) ქსელები იყო ოქროს სტანდარტი დროითი სერიების პროგნოზირებისთვის. მაგრამ მათ ჰქონდათ ნაკლი: მათ ავიწყდებოდათ მონაცემები 100 ნაბიჯის წინ. გაიცანით ტრანსფორმერი. თავდაპირველად შექმნილი ენისთვის (ChatGPT), აღმოჩნდა, რომ "Self-Attention" (თვით-ყურადღება) იდეალურია ბაზრის ციკლების გასაგებად.

---

1. შესავალი: ყურადღება არის ყველაფერი, რაც გჭირდებათ (ალფასთვის)

ბაზრები ენაა.

• სიტყვები = ფასის ტიკები (Price Ticks).
• წინადადებები = დღიური სანთლები (Daily Candles).
• აბზაცები = ბაზრის ციკლები.

LSTM-ები კითხულობენ ამ ენას სიტყვა-სიტყვით, ივიწყებენ წინადადების დასაწყისს, სანამ მიაღწევენ ბოლომდე. ტრანსფორმერები კითხულობენ მთელ ისტორიას ერთდროულად, რაც მათ საშუალებას აძლევს მყისიერად დააფიქსირონ კორელაციები 2026 წლის კრახსა და 2020 წლის კრახს შორის.

2. ძირითადი ანალიზი: ყურადღების მექანიზმი

2.1 როგორ მუშაობს ეს

"Self-Attention" მექანიზმი ანიჭებს წონას თითოეულ წარსულ სანთელს.

• სცენარი: ბიტკოინი ეცემა 5%-ით.
• LSTM: უყურებს მხოლოდ ბოლო 10 სანთელს.
• ტრანსფორმერი: "ეს ვარდნა ზუსტად ჰგავს 2021 წლის მაისის ლიკვიდაციის კასკადს. მე დიდ წონას მივანიჭებ ამ მოვლენებს."

2.2 დროითი შერწყმის ტრანსფორმერები (TFT)

Google-ის TFT არქიტექტურა არის 2026 წლის სტატუს კვო. ის აერთიანებს:

1. სტატიკური კოვარიატები: მეტამონაცემები, რომლებიც არ იცვლება (მაგ., "ეს არის AI მონეტა").
2. ცნობილი მომავალი მონაცემები: FOMC შეხვედრების ან ჰალვინგების თარიღები.
3. დაკვირვებული მონაცემები: ფასი და მოცულობა.

ეს საშუალებას აძლევს მოდელს იწინასწარმეტყველოს არა მხოლოდ რა მოხდება, არამედ რატომ (ინტერპრეტირებადობა).

3. ტექნიკური განხორციელება: PyTorch Forecasting

ჩვენ ვიყენებთ pytorch-forecasting ბიბლიოთეკას.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# მონაცემთა ნაკრების განსაზღვრა (Define the Dataset)
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # გადახედეთ 24 საათს
    max_encoder_length=168, # გადახედეთ 7 დღეს
    min_prediction_length=1,
    max_prediction_length=24, # იწინასწარმეტყველეთ შემდეგი 24 საათი
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# TFT ინიციალიზაცია
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 კვანტილი ალბათური პროგნოზისთვის
    loss=QuantileLoss(),
)

4. გამოწვევები და რისკები: "წინხედვის მიკერძოება" (Look-Ahead Bias)

ტრანსფორმერის ტრენინგში ყველაზე გავრცელებული შეცდომაა Look-Ahead Bias. თუ უნებლიედ შეიყვანთ "ხვალის გახსნის ფასს", როგორც მახასიათებელს "ხვალის დახურვის ფასისთვის", მოდელს ექნება 99% სიზუსტე ტრენინგში და 0% წარმოებაში.

• შესწორება: მომავალი მონაცემების მკაცრი დაფარვა (masking) DataSaver მილსადენში.

5. სამომავლო პერსპექტივა: ფუნდამენტური მოდელები ფინანსებისთვის

ისევე, როგორც GPT-4 არის ფუნდამენტური მოდელი ტექსტისთვის, ჩვენ ვხედავთ FinGPT-ის აღმავლობას — მოდელები, რომლებიც გაწვრთნილია ისტორიაში ყველა ფინანსურ აქტივზე. თქვენ არ წვრთნით მათ; თქვენ უბრალოდ აკეთებთ მათ "ფაინ-ტიუნინგს" (LoRA) თქვენს კონკრეტულ აქტივზე (მაგ., Dogecoin).

6. ხშირად დასმული კითხვები: ტრანსფორმერები

1. უკეთესია ვიდრე XGBoost? რთული, მრავალცვლადიანი პრობლემებისთვის გრძელი მეხსიერებით? დიახ. მარტივი ცხრილური მონაცემებისთვის? XGBoost ჯერ კიდევ უფრო სწრაფი და კონკურენტუნარიანია.

2. რამდენი მონაცემი მჭირდება? ტრანსფორმერებს მონაცემები სჭირდებათ. კარგი შედეგების მისაღებად გჭირდებათ მინიმუმ 100,000 სტრიქონი მონაცემები (5-წუთიანი სანთლები 2 წლის განმავლობაში).

3. შეუძლია თუ არა მას შავი გედების პროგნოზირება? ვერცერთი მოდელი ვერ იწინასწარმეტყველებს შავ გედს (განმარტებით). მაგრამ ტრანსფორმერები ეგუებიან ახალ რეჟიმებს უფრო სწრაფად, ვიდრე LSTM-ები.

4. რა არის "ალბათური პროგნოზირება"? ნაცვლად იმისა, რომ თქვას "BTC იქნება $100k", TFT ამბობს "არსებობს 90% შანსი, რომ BTC იყოს $98k-დან $102k-მდე." ეს გადამწყვეტია რისკების მართვისთვის.

5. მჭირდება GPU? დიახ. ტრანსფორმერის გაწვრთნა CPU-ზე მტკივნეულად ნელია.