قیمت کی پیشن گوئی کے لیے ٹرانسفارمر ماڈلز: LSTM سے آگے

ایگزیکٹو خلاصہ: برسوں تک، LSTM (Long Short-Term Memory) نیٹ ورکس ٹائم سیریز کی پیشن گوئی میں معیار تھے۔ لیکن 2026 میں، ٹرانسفارمرز — وہی فن تعمیر جو GPT-4 کو طاقت دیتا ہے — مالیات پر قبضہ کر چکے ہیں۔ یہ مضمون وضاحت کرتا ہے کہ کیوں "توجہ کا میکانزم" (Attention Mechanism) پرانے RNNs کے مقابلے میں مارکیٹ کے شور کو فلٹر کرنے کے لیے بہتر ہے۔

---

1. تعارف: زبان سے مالیات تک

ٹرانسفارمرز بول چال کی زبان کے لیے بنائے گئے تھے۔ لیکن پتہ چلا کہ قیمت ایک زبان ہے۔ کینڈل اسٹک چارٹ (Candlestick chart) ایک جملہ ہے۔ ہر موم بتی ایک لفظ ہے۔ ٹرانسفارمرز پورے چارٹ کو ایک ساتھ "پڑھ" سکتے ہیں، LSTM کے برعکس، جو بائیں سے دائیں پڑھتا ہے اور آغاز کو "بھول" جاتا ہے۔

2. بنیادی تجزیہ: Attention بمقابلہ Memory

2.1 LSTM کا مسئلہ

LSTM ہر چیز کو ایک "میموری سیل" میں یاد رکھنے کی کوشش کرتا ہے۔ طویل ترتیب کے دوران (مثلاً 1 سال کا ڈیٹا)، یہ سیاق و سباق کھو دیتا ہے۔

2.2 Self-Attention (خود توجہ)

ٹرانسفارمر Self-Attention کا استعمال کرتا ہے۔ یہ 1000ویں موم بتی کو دیکھ سکتا ہے اور اسے براہ راست پہلی موم بتی سے جوڑ سکتا ہے۔ مثال کے طور پر، یہ دیکھ سکتا ہے کہ آج مارکیٹ بالکل ویسا ہی برتاؤ کر رہی ہے جیسا کہ نومبر 2022 میں تھا، اور درمیان میں موجود شور کو نظر انداز کرتے ہوئے اس معلومات کا استعمال کر سکتا ہے۔

3. تکنیکی عمل درآمد: PyTorch کوڈ

یہاں یہ ہے کہ ایک سادہ Time Series Transformer ماڈل PyTorch میں کیسا لگتا ہے:

import torch
import torch.nn as nn

class TimeSeriesTransformer(nn.Module):
    def __init__(self, input_dim, d_model, nhead, num_layers):
        super().__init__()
        self.encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead)
        self.transformer_encoder = nn.TransformerEncoder(self.encoder_layer, num_layers=num_layers)
        self.linear = nn.Linear(d_model, 1) # پیشن گوئی

    def forward(self, src):
        # src shape: (seq_len, batch_size, input_dim)
        output = self.transformer_encoder(src)
        return self.linear(output[-1]) # آخری قدم حاصل کریں
    

4. حقیقی نتائج: TradingMaster کا تجربہ

ہم نے اپنے تجارتی بوٹ پر LSTM اور Transformer کا موازنہ کیا۔

• ڈیٹا: 5 سال کا BTC/USD 1H کینڈلز۔
• نتیجہ: ٹرانسفارمر نے 15% کم RMSE (غلطی) دکھایا اور غیر مستحکم مارکیٹ میں بہتر نتائج دیے۔

5. مستقبل کا نقطہ نظر: ملٹی موڈل ٹرانسفارمرز

مستقبل ملٹی موڈل ہے۔ ہم ایسے ماڈل تیار کر رہے ہیں جو بیک وقت عمل کرتے ہیں:

1. قیمت کی تاریخ (نمبر)۔
2. ٹویٹر جذبات (متن)۔
3. چارٹ پیٹرن (امیجز)۔

یہ تمام معلومات زیادہ درست پیشن گوئی کے لیے ایک ہی ٹرانسفارمر میں جاتی ہیں۔

6. اکثر پوچھے گئے سوالات (FAQ)

1. کیا ٹرانسفارمر زیادہ سست ہے؟ ہاں، ٹریننگ مشکل ہے، لیکن انفیرینس (پیشن گوئی) تیز ہے، کیونکہ یہ متوازی ہے (LSTM کے برعکس)۔

2. کیا اس کے لیے بڑے GPU کی ضرورت ہے؟ ہاں۔ ٹریننگ کے لیے A100 یا H100 کی سفارش کی جاتی ہے۔

3. کیا یہ تکنیکی تجزیہ کی جگہ لے لے گا؟ یہ تکنیکی تجزیہ ہے، صرف خودکار اور 1000 گنا زیادہ گہرا۔

4. کیا آپ پہلے سے تربیت یافتہ (Pre-trained) ماڈل استعمال کرتے ہیں؟ ہم "TimeGPT" کی طرح کا نقطہ نظر استعمال کرتے ہیں — جو اربوں مالیاتی ڈیٹا پوائنٹس پر پہلے سے تربیت یافتہ ہے۔