দামের পূর্বাভাসের জন্য ট্রান্সফরমার মডেল: LSTM-এর বাইরে

এক্সিকিউটিভ সারাংশ: বছরের পর বছর ধরে, লং শর্ট-টার্ম মেমরি (LSTM) নেটওয়ার্কগুলি টাইম-সিরিজ বা সময়-ক্রম পূর্বাভাসের জন্য সোনার মান ছিল। কিন্তু তাদের একটি ত্রুটি ছিল: তারা ১০০ ধাপ আগের ডেটা ভুলে যেত। প্রবেশ করুন ট্রান্সফরমার (Transformer)। মূলত ভাষার জন্য তৈরি (ChatGPT), দেখা যাচ্ছে যে 'সেলফ-অ্যাটেনশন' (Self-Attention) বা আত্ম-মনোযোগ বাজারের চক্রগুলি বোঝার জন্য নিখুঁত।

---

১. ভূমিকা: মনোযোগই আপনার যা প্রয়োজন (আলফার জন্য)

বাজার একটি ভাষা।

• শব্দ = প্রাইস টিক (Price Ticks)।
• বাক্য = দৈনিক ক্যান্ডেল (Daily Candles)।
• অনুচ্ছেদ = মার্কেট সাইকেল বা বাজারের চক্র।

LSTM গুলি এই ভাষাটি শব্দ-শব্দ করে পড়ে, এবং শেষের দিকে পৌঁছানোর সময় তারা বাক্যের শুরুটি ভুলে যায়। ট্রান্সফরমারগুলি পুরো ইতিহাস একবারে পড়ে, যা তাদের ২০২৬ সালের ক্র্যাশ এবং ২০২০ সালের ক্র্যাশের মধ্যে সম্পর্কগুলি অবিলম্বে চিহ্নিত করতে দেয়।

২. মূল বিশ্লেষণ: মনোযোগ মেকানিজম

২.১ এটি কিভাবে কাজ করে

"সেলফ-অ্যাটেনশন" মেকানিজম প্রতিটি অতীত ক্যান্ডেলকে একটি ওজন (weight) প্রদান করে।

• দৃশ্যপট: বিটকয়েন ৫% কমেছে।
• LSTM: শুধুমাত্র শেষ ১০টি ক্যান্ডেল দেখে।
• ট্রান্সফরমার: "এই পতনটি দেখতে ঠিক ২০২১ সালের মে মাসের লিকুইডেশন ক্যাসকেডের মতো। আমি সেই ইভেন্টগুলিকে গুরুত্ব দেব।"

২.২ টেম্পোরাল ফিউশন ট্রান্সফরমার (TFT)

Google-এর TFT আর্কিটেকচার হল ২০২৬ সালের স্থিতাবস্থা। এটি একত্রিত করে:

1. স্ট্যাটিক কোভেরিয়েটস: মেটাডেটা যা পরিবর্তন হয় না (যেমন, "এটি একটি AI কয়েন")।
2. জ্ঞাত ভবিষ্যতের ইনপুট: FOMC মিটিং বা হাল্ভিং (Halvings)-এর তারিখ।
3. পর্যবেক্ষিত ইনপুট: দাম এবং ভলিউম।

এটি মডেলটিকে কেবল কী ঘটবে তা নয়, বরং কেন (ব্যাখ্যাযোগ্যতা) তাও পূর্বাভাস দিতে দেয়।

৩. প্রযুক্তিগত বাস্তবায়ন: PyTorch ফোরকাস্টিং

আমরা pytorch-forecasting লাইব্রেরি ব্যবহার করি।

# ২০২৬ টেম্পোরাল ফিউশন ট্রান্সফরমার সেটআপ
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# ডেটাসেট সংজ্ঞায়িত করুন
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # ২৪ ঘন্টা পিছনে দেখুন
    max_encoder_length=168, # ৭ দিন পিছনে দেখুন
    min_prediction_length=1,
    max_prediction_length=24, # পরবর্তী ২৪ ঘন্টার পূর্বাভাস দিন
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# TFT শুরু করুন
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # সম্ভাব্য পূর্বাভাসের জন্য ৭টি কোয়ান্টাইল
    loss=QuantileLoss(),
)

৪. চ্যালেঞ্জ এবং ঝুঁকি: "লুক-হেড বায়াস" (Look-Ahead Bias)

ট্রান্সফরমার প্রশিক্ষণে সবচেয়ে সাধারণ ত্রুটি হল Look-Ahead Bias। আপনি যদি অজান্তে "আগামীকালের খোলার মূল্য" কে "আগামীকালের বন্ধের মূল্য"-এর বৈশিষ্ট্য হিসাবে ফিড করেন, তবে মডেলটির প্রশিক্ষণে ৯৯% নির্ভুলতা থাকবে এবং উত্পাদনে ০%।

• সমাধান: ডেটাছেভার (DataSaver) পাইপলাইনে ভবিষ্যতের ডেটার কঠোর মাস্কিং।

৫. ভবিষ্যতের দৃষ্টিভঙ্গি: অর্থের জন্য ফাউন্ডেশন মডেল

যেমন GPT-4 পাঠ্যের জন্য একটি ফাউন্ডেশন মডেল, আমরা FinGPT-এর উত্থান দেখছি — ইতিহাসের প্রতিটি আর্থিক সম্পদের উপর প্রশিক্ষিত মডেল। আপনি তাদের প্রশিক্ষণ দেবেন না; আপনি কেবল আপনার নির্দিষ্ট সম্পদে (যেমন, Dogecoin) তাদের ফাইন-টিউন (LoRA) করবেন।

৬. সচরাচর জিজ্ঞাসিত প্রশ্ন (FAQ): ট্রান্সফরমার

১. এটি কি XGBoost-এর চেয়ে ভালো? দীর্ঘ মেমরি সহ জটিল, বহু-পরিবর্তনশীল সমস্যার জন্য? হ্যাঁ। সাধারণ ট্যাবুলার ডেটার জন্য? XGBoost এখনও দ্রুত এবং প্রতিযোগিতামূলক।

২. আমার কতটা ডেটা দরকার? ট্রান্সফরমাররা ডেটার জন্য ক্ষুধার্ত। ভালো ফলাফল পেতে আপনার কমপক্ষে ১,০০,০০০ সারি ডেটা (২ বছরের জন্য ৫-মিনিটের ক্যান্ডেল) প্রয়োজন।

৩. এটি কি ব্ল্যাক সোয়ান (Black Swans) বা কালো রাজহাঁসের পূর্বাভাস দিতে পারে? কোনো মডেলই ব্ল্যাক সোয়ানের পূর্বাভাস দিতে পারে না (সংজ্ঞা অনুসারে)। তবে ট্রান্সফরমারগুলি LSTM-এর চেয়ে নতুন শাসনব্যবস্থায় দ্রুত খাপ খায়।

৪. "সম্ভাব্য পূর্বাভাস" (Probabilistic Forecasting) কি? "BTC $100k হবে" বলার পরিবর্তে, TFT বলে "৯০% সম্ভাবনা আছে যে BTC $98k এবং $102k-এর মধ্যে থাকবে।" ঝুঁকি ব্যবস্থাপনার জন্য এটি অত্যন্ত গুরুত্বপূর্ণ।

৫. আমার কি জিপিইউ (GPU) দরকার? হ্যাঁ। সিপিইউ (CPU)-তে ট্রান্সফরমারকে প্রশিক্ষণ দেওয়া বেদনাদায়কভাবে ধীর।