मूल्य भविष्यवाणी के लिए ट्रांसफार्मर मॉडल: LSTM से आगे

कार्यकारी सारांश: वर्षों तक, लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क टाइम-सीरीज़ पूर्वानुमान के लिए स्वर्ण मानक थे। लेकिन उनमें एक खामी थी: वे 100 कदम पहले के डेटा को भूल जाते थे। ट्रांसफॉर्मर (Transformer) का प्रवेश। मूल रूप से भाषा के लिए बनाया गया (ChatGPT), यह पता चला है कि 'सेल्फ-अटेंशन' (Self-Attention) बाज़ार के चक्रों को समझने के लिए एकदम सही है।

---

1. परिचय: अटेंशन ही आपको चाहिए (अल्फा के लिए)

बाजार एक भाषा हैं।

• शब्द = मूल्य टिक्स (Price Ticks)।
• वाक्य = दैनिक कैंडल (Daily Candles)।
• अनुच्छेद = बाज़ार चक्र (Market Cycles)।

LSTMs इस भाषा को शब्द-दर-शब्द पढ़ते हैं, और अंत तक पहुँचते-पहुँचते वाक्य की शुरुआत को भूल जाते हैं। ट्रांसफॉर्मर पूरे इतिहास को एक साथ पढ़ते हैं, जिससे उन्हें 2026 क्रैश और 2020 क्रैश के बीच के सहसंबंधों को तुरंत पहचानने की अनुमति मिलती है।

2. मुख्य विश्लेषण: अटेंशन तंत्र

2.1 यह कैसे काम करता है

"सेल्फ-अटेंशन" तंत्र हर पिछली कैंडल को एक वजन (weight) प्रदान करता है।

• परिदृश्य: बिटकॉइन 5% गिरता है।
• LSTM: केवल पिछली 10 कैंडल को देखता है।
• ट्रांसफॉर्मर: "यह गिरावट बिल्कुल मई 2021 के लिक्विडेशन कैस्केड जैसी लगती है। मैं उन घटनाओं को भारी वजन दूंगा।"

2.2 टेम्पोरल फ्यूजन ट्रांसफॉर्मर (TFT)

Google का TFT आर्किटेक्चर 2026 की यथास्थिति है। यह जोड़ता है:

1. स्टेटिक कोवरिएट्स: मेटाडेटा जो बदलता नहीं है (जैसे, "यह एक एआई कॉइन है")।
2. ज्ञात भविष्य के इनपुट: FOMC बैठकों या हाल्विंग (Halvings) की तारीखें।
3. अवलोकित इनपुट: कीमत और आयतन (Volume)।

यह मॉडल को न केवल यह भविष्यवाणी करने की अनुमति देता है कि क्या होगा, बल्कि क्यों (व्याख्यात्मकता) भी।

3. तकनीकी कार्यान्वयन: PyTorch Forecasting

हम pytorch-forecasting लाइब्रेरी का उपयोग करते हैं।

# 2026 टेम्पोरल फ्यूजन ट्रांसफॉर्मर सेटअप
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# डेटासेट को परिभाषित करें
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # 24 घंटे पीछे देखें
    max_encoder_length=168, # 7 दिन पीछे देखें
    min_prediction_length=1,
    max_prediction_length=24, # अगले 24 घंटों की भविष्यवाणी करें
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# TFT को प्रारंभ करें
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # संभाव्य पूर्वानुमान के लिए 7 मात्राएँ (quantiles)
    loss=QuantileLoss(),
)

4. चुनौतियाँ और जोखिम: "लुक-अहेड बायस" (Look-Ahead Bias)

ट्रांसफॉर्मर प्रशिक्षण में सबसे आम त्रुटि Look-Ahead Bias है। यदि आप अनजाने में "कल की ओपन कीमत" को "कल की क्लोज कीमत" के लिए एक फीचर के रूप में फीड करते हैं, तो मॉडल की प्रशिक्षण में 99% सटीकता होगी और उत्पादन में 0%।

• सुधार: DataSaver पाइपलाइन में भविष्य के डेटा की सख्त मास्किंग।

5. भविष्य का दृष्टिकोण: वित्त के लिए फाउंडेशन मॉडल

जैसे GPT-4 टेक्स्ट के लिए एक फाउंडेशन मॉडल है, वैसे ही हम FinGPT का उदय देख रहे हैं — इतिहास में हर वित्तीय संपत्ति पर प्रशिक्षित मॉडल। आप उन्हें प्रशिक्षित नहीं करते हैं; आप बस उन्हें अपनी विशिष्ट संपत्ति (जैसे, Dogecoin) पर फाइन-ट्यून (LoRA) करते हैं।

6. सामान्य प्रश्न (FAQ): ट्रांसफॉर्मर

1. क्या यह XGBoost से बेहतर है? लंबी मेमोरी वाली जटिल, बहु-चर समस्याओं के लिए? हाँ। सरल सारणीबद्ध डेटा के लिए? XGBoost अभी भी तेज़ और प्रतिस्पर्धी है।

2. मुझे कितना डेटा चाहिए? ट्रांसफॉर्मर डेटा के भूखे होते हैं। अच्छे परिणाम प्राप्त करने के लिए आपको कम से कम 100,000 पंक्तियों के डेटा (2 साल के लिए 5-मिनट की कैंडल) की आवश्यकता है।

3. क्या यह ब्लैक स्वान (Black Swans) की भविष्यवाणी कर सकता है? कोई भी मॉडल ब्लैक स्वान की भविष्यवाणी नहीं कर सकता (परिभाषा के अनुसार)। लेकिन ट्रांसफॉर्मर LSTM की तुलना में नए शासनों (regimes) के लिए तेज़ी से अनुकूलित होते हैं।

4. "संभाव्य पूर्वानुमान" (Probabilistic Forecasting) क्या है? यह कहने के बजाय कि "BTC $100k होगा," TFT कहता है "90% संभावना है कि BTC $98k और $102k के बीच होगा।" जोखिम प्रबंधन के लिए यह महत्वपूर्ण है।

5. क्या मुझे GPU की आवश्यकता है? हाँ। CPU पर ट्रांसफॉर्मर को प्रशिक्षित करना दर्दनाक रूप से धीमा है।