مدل‌های ترانسفورمر برای پیش‌بینی قیمت: فراتر از LSTM

خلاصه اجرایی: برای سال‌ها، شبکه‌های حافظه کوتاه‌مدت بلند (LSTM) استاندارد طلایی برای پیش‌بینی سری‌های زمانی بودند. اما آنها یک نقص داشتند: داده‌های ۱۰۰ گام قبل را فراموش می‌کردند. وارد ترانسفورمر شوید. در ابتدا برای زبان ساخته شد (ChatGPT)، اما مشخص شد که "توجه خودکار" (Self-Attention) برای درک چرخه‌های بازار عالی است.

---

۱. مقدمه: توجه تمام چیزی است که نیاز دارید (برای آلفا)

بازارها یک زبان هستند.

• کلمات = تیک‌های قیمتی.
• جملات = کندل‌های روزانه.
• پاراگراف‌ها = چرخه‌های بازار.

LSTMها این زبان را کلمه به کلمه می‌خوانند و وقتی به پایان جمله می‌رسند، شروع آن را فراموش می‌کنند. ترانسفورمرها کل تاریخچه را یکجا می‌خوانند و به آنها اجازه می‌دهند همبستگی بین سقوط ۲۰۲۶ و سقوط ۲۰۲۰ را فوراً تشخیص دهند.

۲. تحلیل اصلی: مکانیزم توجه

۲.۱ چگونه کار می‌کند

مکانیزم "توجه خودکار" به هر کندل گذشته یک وزن اختصاص می‌دهد.

• سناریو: بیت‌کوین ۵٪ کاهش می‌یابد.
• LSTM: فقط به ۱۰ کندل آخر نگاه می‌کند.
• ترانسفورمر: "این کاهش دقیقاً شبیه آبشار لیکوئید شدن می ۲۰۲۱ به نظر می‌رسد. من به آن رویدادها وزن سنگینی خواهم داد."

۲.۲ ترانسفورمرهای فیوژن زمانی (TFT)

معماری TFT گوگل وضعیت موجود در سال ۲۰۲۶ است. این مدل ترکیب می‌کند:

1. متغیرهای کمکیستا: فراداده‌هایی که تغییر نمی‌کنند (مثلاً "این یک کوین هوش مصنوعی است").
2. ورودی‌های آینده شناخته شده: تاریخ جلسات FOMC یا هاوینگ‌ها.
3. ورودی‌های مشاهده شده: قیمت و حجم.

این به مدل اجازه می‌دهد نه تنها پیش‌بینی کند چه اتفاقی می‌افتد، بلکه چرا (تفسیرپذیری).

۳. پیاده‌سازی فنی: PyTorch Forecasting

ما از کتابخانه pytorch-forecasting استفاده می‌کنیم.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

۴. چالش‌ها و ریسک‌ها: سوگیری "نگاه به آینده"

رایج‌ترین خطا در آموزش ترانسفورمر، سوگیری نگاه به آینده (Look-Ahead Bias) است. اگر ناآگاهانه "قیمت باز شدن فردا" را به عنوان ویژگی برای "قیمت بسته شدن فردا" وارد کنید، مدل در آموزش ۹۹٪ دقت و در تولید ۰٪ دقت خواهد داشت.

• راه‌حل: ماسک کردن دقیق داده‌های آینده در پایپ‌لاین DataSaver.

۵. چشم‌انداز آینده: مدل‌های بنیادی برای امور مالی

همانطور که GPT-4 یک مدل بنیادی برای متن است، ما شاهد ظهور FinGPT هستیم—مدل‌هایی که روی تمام دارایی‌های مالی تاریخ آموزش دیده‌اند. شما آنها را آموزش نمی‌دهید؛ فقط آنها را روی دارایی خاص خود (مثلاً دوج‌کوین) تنظیم دقیق (LoRA) می‌کنید.

۶. سوالات متداول: ترانسفورمرها

۱. آیا بهتر از XGBoost است؟ برای مسائل پیچیده و چند متغیره با حافظه طولانی؟ بله. برای داده‌های جدولی ساده؟ XGBoost هنوز سریع‌تر و رقابتی است.

۲. چقدر داده نیاز دارم؟ ترانسفورمرها تشنه داده هستند. برای دریافت نتایج خوب، به حداقل ۱۰۰,۰۰۰ ردیف داده (کندل‌های ۵ دقیقه‌ای برای ۲ سال) نیاز دارید.

۳. آیا می‌تواند قوی سیاه (Black Swans) را پیش‌بینی کند؟ هیچ مدلی نمی‌تواند قوی سیاه را (طبق تعریف) پیش‌بینی کند. اما ترانسفورمرها سریع‌تر از LSTMها با رژیم‌های جدید سازگار می‌شوند.

۴. "پیش‌بینی احتمالی" چیست؟ به جای گفتن "بیت‌کوین ۱۰۰ هزار دلار خواهد شد"، TFT می‌گوید "۹۰٪ احتمال دارد بیت‌کوین بین ۹۸ هزار تا ۱۰۲ هزار دلار باشد." این برای مدیریت ریسک حیاتی است.

۵. آیا به GPU نیاز دارم؟ بله. آموزش ترانسفورمر روی CPU به طرز دردناکی کند است.