מודלי טרנספורמר לחיזוי מחירים: מעבר ל-LSTM

תקציר מנהלים: במשך שנים, רשתות זיכרון לטווח קצר ארוך (LSTM) היו תקן הזהב לחיזוי סדרות עיתיות. אבל היה להן פגם: הן שכחו נתונים מלפני 100 צעדים. הכירו את ה-Transformer. במקור נבנה לשפה (ChatGPT), מסתבר ש"תשומת לב עצמית" (Self-Attention) מושלמת להבנת מחזורי שוק.

---

1. מבוא: תשומת לב זה כל מה שאתה צריך (עבור אלפא)

שווקים הם שפה.

• מילים = תיקים של מחיר.
• משפטים = נרות יומיים.
• פסקאות = מחזורי שוק.

LSTMs קוראים את השפה הזו מילה אחר מילה, ושוכחים את תחילת המשפט כשהם מגיעים לסופו. טרנספורמרים קוראים את כל ההיסטוריה בבת אחת, מה שמאפשר להם לזהות מתאמים בין ההתרסקות של 2026 לבין ההתרסקות של 2020 באופן מיידי.

2. ניתוח ליבה: מנגנון הקשב (Attention)

2.1 איך זה עובד

מנגנון ה-"Self-Attention" מקצה משקל לכל נר עבר.

• תרחיש: ביטקוין יורד ב-5%.
• LSTM: מסתכל רק על 10 הנרות האחרונים.
• Transformer: "הירידה הזו נראית בדיוק כמו מפל הנזילות של מאי 2021. אני אתן משקל כבד לאירועים האלה."

2.2 טרנספורמרים של היתוך זמני (TFT)

ארכיטקטורת ה-TFT של גוגל היא הסטטוס קוו של 2026. היא משלבת:

1. משתנים משותפים סטטיים: מטא-נתונים שלא משתנים (למשל, "זהו מטבע AI").
2. קלטים עתידיים ידועים: תאריכים של פגישות FOMC או חציות (Halvings).
3. קלטים שנצפו: מחיר ונפח.

זה מאפשר למודל לחזות לא רק מה יקרה, אלא למה (פרשנות).

3. יישום טכני: PyTorch Forecasting

אנו משתמשים בספריית pytorch-forecasting.

# 2026 Temporal Fusion Transformer Setup
from pytorch_forecasting import TemporalFusionTransformer, TimeSeriesDataSet

# Define the Dataset
training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="price",
    group_ids=["symbol"],
    min_encoder_length=24,  # Look back 24 hours
    max_encoder_length=168, # Look back 7 days
    min_prediction_length=1,
    max_prediction_length=24, # Predict next 24 hours
    static_categoricals=["symbol"],
    time_varying_known_reals=["hour_of_day", "day_of_week"],
    time_varying_unknown_reals=["price", "volume"],
)

# Initialize TFT
tft = TemporalFusionTransformer.from_dataset(
    training,
    learning_rate=0.03,
    hidden_size=16,
    attention_head_size=4,
    dropout=0.1,
    hidden_continuous_size=8,
    output_size=7,  # 7 quantiles for probabilistic forecast
    loss=QuantileLoss(),
)

4. אתגרים וסיכונים: "הטיית הצצה לעתיד" (Look-Ahead Bias)

השגיאה הנפוצה ביותר באימון טרנספורמר היא Look-Ahead Bias. אם אתם מזינים בלי לדעת את "מחיר הפתיחה של מחר" כמאפיין עבור "מחיר הסגירה של מחר", למודל יהיה 99% דיוק באימון ו-0% בייצור.

• תיקון: מיסוך קפדני של נתונים עתידיים בצינור ה-DataSaver.

5. תחזית לעתיד: מודלי יסוד לפיננסים

בדיוק כפי ש-GPT-4 הוא מודל יסוד לטקסט, אנו רואים את עליית ה-FinGPT — מודלים שאומנו על כל נכס פיננסי בהיסטוריה. אתם לא מאמנים אותם; אתם רק מבצעים כוונון עדין (LoRA) על הנכס הספציפי שלכם (למשל, Dogecoin).

6. שאלות נפוצות: טרנספורמרים

1. האם זה טוב יותר מ-XGBoost? לבעיות מורכבות ורב-משתנים עם זיכרון ארוך? כן. לנתונים טבלאיים פשוטים? XGBoost עדיין מהיר יותר ותחרותי.

2. כמה נתונים אני צריך? טרנספורמרים רעבים לנתונים. אתם צריכים לפחות 100,000 שורות של נתונים (נרות של 5 דקות במשך שנתיים) כדי לקבל תוצאות טובות.

3. האם הוא יכול לחזות ברבורים שחורים? שום מודל לא יכול לחזות ברבור שחור (מעצם הגדרתו). אבל טרנספורמרים מסתגלים מהר יותר למשטרים חדשים מאשר LSTMs.

4. מהו "חיזוי הסתברותי"? במקום לומר "BTC יהיה $100k", ה-TFT אומר "יש סיכוי של 90% ש-BTC יהיה בין $98k ל-$102k." זה קריטי לניהול סיכונים.

5. האם אני צריך GPU? כן. אימון טרנספורמר על CPU הוא איטי בצורה כואבת.