Software Engineer Encyclopedia
0%
Domain 10 · Python, Machine Learning & Data Engineering · Pillar

Time Series Forecasting: من seasonal naive لـ ARIMA وProphet-style والـ ML

Time Series Forecasting

التوقع بالمستقبل من بيانات زمنية: المكونات (trend، seasonality، noise)، الـ stationarity، baselines لازم تغلبها، ARIMA/SARIMA بالفكرة والتطبيق، النماذج الـ additive بأسلوب Prophet (trend + seasonality + holidays)، الـ ML بالـ lag features، التقييم الصح بالـ backtesting (rolling origin) ومقاييس MAE/WAPE/MASE، فترات التنبؤ، والتشغيل كخدمة — بأمثلة SaaS حقيقية (استهلاك tokens، الطلب على الدعم، الإيراد).

  • Intermediate
  • ~8 min read
  • 15 sections
  • 8 code examples
  • 2 diagrams
  • 4 questions
  • Priority L2 · Essential
  • Python 3.12 · pandas · statsmodels (ARIMA/SARIMAX) · Prophet (optional) · scikit-learn / LightGBM — APIs stable, reviewed 2026-11-18

بعد الدرس ده هتقدر

  • تحلل series لـ trend وseasonality وresidual وتفهم الـ autocorrelation
  • تبني baselines (naive، seasonal naive، moving average) وتلتزم تغلبها
  • تطبق ARIMA/SARIMA وتفهم p,d,q وإمتى بتشتغل
  • تبني نموذج additive بأسلوب Prophet بـ trend وseasonalities وأثر الإجازات
  • تحوّل forecasting لـ supervised learning بـ lag/rolling features من غير leakage
  • تقيّم بالـ rolling-origin backtesting وتختار المقياس المناسب (MAE، WAPE، MASE)
  • تطلّع prediction intervals وتشغّل الـ forecasts كـ pipeline يغذي قرارات (capacity، budgets)

المتطلبات قبل ما تبدأ

01

ليه forecasting مختلف عن ML العادي

What makes time series different
Basics

«كام token هيستهلك الـ tenant ده الشهر الجاي؟»، «كام تذكرة دعم هتيجي يوم الحد؟»، «محتاجين كام GPU الأسبوع الجاي؟». كلها forecasting. الفرق الجوهري عن الـ ML العادي: الترتيب مهم. الصفوف مش مستقلة، والقيمة النهارده مرتبطة بامبارح وبنفس اليوم الأسبوع اللي فات. كل الأخطاء الكبيرة في المجال ده جاية من تجاهل الحقيقة دي (خلط الماضي بالمستقبل في الـ training).

observed (weekly cycles)trendDecompose → model each part → recombine. Residual should look like noise; if it has patterns, the model missed something.
A series = trend + seasonality + residual (additive view)
المكونمثال SaaS
Trendنمو عدد العملاء ← استهلاك بيزيد شهر عن شهر
Seasonalityأسبوعية (الشغل الأحد–الخميس في مصر)، يومية (ذروة 11 الصبح)، سنوية (رمضان، نهاية السنة المالية)
Events/holidaysإطلاق feature، حملة تسويق، أعياد
Residualالضوضاء اللي مالهاش نمط
02

Baselines: لو مش بتغلبهم، الموديل مالوش لازمة

Baselines you must beat
Practical
Pythonbaselines.py
import pandas as pd
import numpy as np

def naive(train: pd.Series, h: int) -> np.ndarray:
    return np.repeat(train.iloc[-1], h)                         # tomorrow = today

def seasonal_naive(train: pd.Series, h: int, season: int = 7) -> np.ndarray:
    last = train.iloc[-season:].to_numpy()                      # next Monday = last Monday
    return np.array([last[i % season] for i in range(h)])

def moving_average(train: pd.Series, h: int, window: int = 28) -> np.ndarray:
    return np.repeat(train.iloc[-window:].mean(), h)

الـ seasonal naive بيغلب موديلات معقدة كتير على بيانات ليها seasonality أسبوعية قوية. وفي مسابقات forecasting الكبيرة (M-competitions) طرق إحصائية بسيطة ومجمّعة كانت منافسة جدًا، والـ ML كسبت لما فيه series كتير مترابطة و features خارجية. الدرس: ابدأ بسيط وقِس.

03

Stationarity والـ autocorrelation

Stationarity and autocorrelation
Deep dive

Stationary = الخصائص الإحصائية (المتوسط، التباين، الارتباط الذاتي) ثابتة مع الزمن. موديلات زي ARIMA بتفترضها. series فيها trend مش stationary؛ الحل الكلاسيكي: differencing (القيمة النهارده − امبارح) يشيل الـ trend، وseasonal differencing (النهارده − نفس اليوم الأسبوع اللي فات) يشيل الـ seasonality. و log قبلها لو التباين بيكبر مع المستوى.

ACF/PACF: الـ autocorrelation عند lag k = ارتباط السلسلة بنفسها متأخرة k خطوات. لو فيه spike عند lag 7 و14 و21 ← seasonality أسبوعية. الـ PACF بيشيل أثر الـ lags الأقرب ويساعد يختار رتبة الـ AR.

Pythonquick diagnostics (statsmodels)
from statsmodels.tsa.stattools import adfuller
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf

y = daily["tokens"]
print("ADF p-value raw:", adfuller(y)[1])                       # high p-value: likely non-stationary
y_diff = np.log1p(y).diff().diff(7).dropna()                    # log, first difference, weekly seasonal difference
print("ADF p-value differenced:", adfuller(y_diff)[1])
plot_acf(y_diff, lags=35); plot_pacf(y_diff, lags=35)          # inspect spikes at 1, 7, 14…
04

ARIMA و SARIMA

ARIMA family
Deep dive
الجزءالمعنى
AR(p)القيمة = تركيبة خطية من آخر p قيمة
I(d)عدد مرات الـ differencing عشان تبقى stationary
MA(q)القيمة بتعتمد على آخر q خطأ (shocks)
SARIMA (P,D,Q)sنفس الأجزاء على مستوى الموسم s (مثلًا 7 أيام)
X (SARIMAX)متغيرات خارجية: إجازات، حملات، عدد المستخدمين النشطين
PythonSARIMAX with a holiday regressor
from statsmodels.tsa.statespace.sarimax import SARIMAX

train, test = y[:-28], y[-28:]
exog_train, exog_test = holidays[:-28], holidays[-28:]          # 0/1 flag per day, known in advance

model = SARIMAX(np.log1p(train), exog=exog_train, order=(1, 1, 1), seasonal_order=(1, 1, 1, 7),
                enforce_stationarity=False, enforce_invertibility=False).fit(disp=False)
fc = model.get_forecast(steps=28, exog=exog_test)
pred = np.expm1(fc.predicted_mean)
lo, hi = np.expm1(fc.conf_int(alpha=0.2).T.to_numpy())          # 80% prediction interval

ARIMA ممتاز لـ series واحدة بتاريخ معقول ونمط مستقر. نقط ضعفه: seasonality متعددة (يومية + أسبوعية + سنوية)، تغييرات مفاجئة في الـ trend، وآلاف الـ series (لازم fit لكل واحدة). الـ auto-ARIMA بيدور على (p,d,q) بمعيار زي AIC — مريح بس اتأكد بالـ backtesting مش بالـ AIC بس.

05

النماذج الـ additive بأسلوب Prophet

Decomposable additive models
Deep dive

Prophet (من Meta، 2017) بيعامل الـ forecasting كـ curve fitting: y(t) = g(t) + s(t) + h(t) + ε — trend مقسّم (piecewise linear/logistic) بـ changepoints تلقائية + seasonalities بـ Fourier series + أثر إجازات/أحداث. ميزته إنه سهل التفسير والضبط بمعرفة البيزنس («ضيف رمضان كـ event بنافذة»)، وبيتعامل مع البيانات الناقصة. عيوبه: مش دايمًا أدق من بدائل بسيطة، وممكن يعمل extrapolation متفائل للـ trend.

Pythonprophet_style.py
from prophet import Prophet

df = daily.reset_index().rename(columns={"date": "ds", "tokens": "y"})
ramadan = pd.DataFrame({"holiday": "ramadan", "ds": pd.to_datetime(["2026-02-18", "2027-02-08"]),   # verify dates per year
                        "lower_window": 0, "upper_window": 29})
m = Prophet(weekly_seasonality=True, yearly_seasonality=True, holidays=ramadan, changepoint_prior_scale=0.05)
m.add_country_holidays(country_name="EG")                         # built-in holiday calendar (check coverage)
m.fit(df[df.ds < "2026-10-01"])
future = m.make_future_dataframe(periods=60)
fc = m.predict(future)[["ds", "yhat", "yhat_lower", "yhat_upper", "trend", "weekly"]]

تواريخ رمضان والإجازات في المثال توضيحية — استخدم تقويم موثوق لكل سنة، واختبر تغطية الـ holidays المدمجة لبلدك.

06

Forecasting بالـ ML: lag features من غير leakage

Forecasting as supervised learning
Deep dive

حوّل السلسلة لجدول: لكل يوم t، الـ features من الماضي فقط (lag 1، lag 7، lag 28، rolling mean آخر 7، اليوم في الأسبوع، الشهر، إجازة؟)، والـ target = القيمة عند t (أو t+h). وبعدين أي regressor (LightGBM ممتاز هنا). الميزة الكبيرة: موديل واحد لآلاف الـ series (كل tenant series) مع features مشتركة.

Pythonfeatures.py — everything shifted so only the past is visible
def make_features(df: pd.DataFrame, horizon: int = 1) -> pd.DataFrame:
    df = df.sort_values(["tenant_id", "date"]).copy()
    g = df.groupby("tenant_id")["tokens"]
    for lag in (horizon, horizon + 6, horizon + 27):                # lags measured from the forecast origin
        df[f"lag_{lag}"] = g.shift(lag)
    df["roll7"] = g.transform(lambda s: s.shift(horizon).rolling(7).mean())    # shift BEFORE rolling: no leakage
    df["dow"] = df["date"].dt.dayofweek
    df["is_holiday"] = df["date"].isin(holiday_dates).astype(int)
    return df.dropna()
أشهر leakage في الـ time series

rolling(7).mean() من غير shift بيدخل قيمة النهارده في الـ feature اللي بتتنبأ بالنهارده. والـ random train/test split بيخلي الموديل يتعلم من بكرة. والـ scaling بإحصائيات الفترة كلها (بما فيها المستقبل). كل ده بيدّي أرقام offline ممتازة ونتايج إنتاج سيئة.

Multi-step: للتنبؤ بـ 14 يوم قدام، يا موديل لكل horizon (direct)، يا موديل خطوة واحدة بتستخدم توقعاته كـ lags (recursive — الأخطاء بتتراكم). الـ direct أبسط وأثبت غالبًا.

07

Backtesting والمقاييس

Evaluating forecasts
Deep dive
fold 1fold 2fold 3fold 4train (past only)forecast horizon h → error
Rolling-origin backtest: train on everything before each cutoff, forecast the next h days, slide forward
المقياسالتعريفإمتى
MAEمتوسط |خطأ|سهل الشرح بوحدة البيزنس
RMSEجذر متوسط مربع الخطألما الأخطاء الكبيرة أخطر
MAPEمتوسط |خطأ|/القيمةمضلل جدًا قرب الصفر — تجنبه للبيانات المتقطعة
WAPEΣ|خطأ| ÷ Σ|الحقيقي|مقارنة عبر series بأحجام مختلفة، ثابت
MASEMAE ÷ MAE الـ seasonal naive< 1 = أحسن من الـ baseline؛ أوضح رقم للإدارة
Coverageنسبة القيم الحقيقية جوه الـ 80% intervalلازم تقرب من 80%؛ أقل = الموديل واثق زيادة
Pythonbacktest.py
def wape(y, yhat): return np.abs(y - yhat).sum() / np.abs(y).sum()

def backtest(series: pd.Series, forecaster, h=14, folds=6, step=14):
    rows = []
    for k in range(folds, 0, -1):
        cut = len(series) - k * step
        train, test = series.iloc[:cut], series.iloc[cut:cut + h]
        pred = forecaster(train, len(test))
        base = seasonal_naive(train, len(test))
        rows.append({"cutoff": series.index[cut], "wape": wape(test.values, pred),
                     "mase": np.abs(test.values - pred).mean() / max(np.abs(test.values - base).mean(), 1e-9)})
    return pd.DataFrame(rows)
# Report the distribution across folds (mean AND worst fold), not one lucky split.
08

Prediction intervals: الرقم لوحده مش كفاية

Uncertainty matters
Practical

«هنستهلك 1.2M token الشهر الجاي» مش قرار. «بنسبة 80% بين 0.9M و1.6M» قرار: الـ capacity بتتجهز للحد الأعلى، والـ budget alert بيتظبط على الوسط. مصادر الـ intervals: من الموديل نفسه (ARIMA/Prophet)، quantile regression (LightGBM بـ objective quantile عند 0.1 و0.9)، أو من توزيع أخطاء الـ backtest (empirical). وقِس الـ coverage في الـ backtest — intervals ضيقة بشكل كداب أخطر من مفيش intervals.

09

الـ forecasting كخدمة في SaaS

Running forecasts in production
Practical
Textweekly pipeline
1. SQL: daily aggregates per tenant (window functions, calendar table for missing days)
2. Python job (Airflow/Hangfire-triggered container): backtest champion vs challenger, refit, forecast 60 days + intervals
3. Write forecasts to a table: (tenant_id, date, p10, p50, p90, model_version, run_id)
4. .NET consumers: billing (projected overage alerts), capacity planning (GPU/TPM), CS dashboard (churn risk = usage dropping below p10)
5. Monitor: forecast error once actuals arrive (WAPE by week), drift alerts, model version in every row
  • Anomaly detection مجانًا: لو الاستهلاك الفعلي برّه الـ interval لمدة يومين ← alert (ممكن bug، ممكن عميل بيعمل abuse، ممكن churn).
  • Hierarchy: توقعات لكل tenant لازم مجموعها يقرب من توقع الإجمالي (reconciliation) لو بتستخدمهم في قرارات مالية.
  • Cold start: tenant جديد مالوش تاريخ ← متوسط tenants مشابهين (نفس الخطة والحجم) لحد ما يتراكم 4–8 أسابيع.
10

Series متقطعة وحالات خاصة

Intermittent and difficult series
Deep dive
الحالةالمشكلةالحل العملي
Intermittent demand (أيام كتير صفر)MAPE بيبوظ، ARIMA مش مناسبCroston-style أو التنبؤ بالاحتمال × الحجم، والتقييم بـ MAE/WAPE على فترات مجمّعة
Structural break (إطلاق منتج، تغيير تسعير)الماضي قبل الحدث بيضللchangepoint، أو تدريب على الفترة بعد الحدث بس، أو feature للحدث
Series قصيرة جدًامش كفاية للـ seasonalityموديل global عبر series مشابهة، أو seasonal naive لحد ما البيانات تكفي
Outliers (حادثة، bot)بتشد الموديلنظّف أو علّم الأيام الشاذة قبل التدريب، وسجّل ده
Multiple seasonality (يوم + أسبوع + سنة)SARIMA بيدعم موسم واحدFourier terms كـ regressors، أو Prophet-style، أو ML بـ calendar features
11

الاستهلاك من ‎.NET: alerts على الـ forecast

Using forecasts from .NET
Practical
C#projected overage alert (daily Hangfire job)
public async Task CheckProjectedOverageAsync(CancellationToken ct)
{
    var monthEnd = new DateOnly(today.Year, today.Month, DateTime.DaysInMonth(today.Year, today.Month));
    var rows = await db.UsageForecasts
        .Where(f => f.Date > today && f.Date <= monthEnd && f.ModelVersion == currentModel)
        .GroupBy(f => f.TenantId)
        .Select(g => new { TenantId = g.Key, P50 = g.Sum(x => x.P50), P90 = g.Sum(x => x.P90) })
        .ToListAsync(ct);
    foreach (var r in rows)
    {
        var used = await usage.MonthToDateAsync(r.TenantId, ct);
        var limit = await entitlements.MonthlyTokenLimitAsync(r.TenantId, ct);
        if (used + r.P50 > limit)                                   // likely overage: tell the admin before it happens
            await notifier.ProjectedOverageAsync(r.TenantId, used + r.P50, used + r.P90, limit, ct);
    }
}

الـ p50 للتنبيه («غالبًا هتعدّي الحد»)، والـ p90 للتخطيط («في أسوأ حالة معقولة»). والـ model version في الـ query عشان ما تخلطش توقعات نسختين.

12

أخطاء شائعة

Common mistakes
Basics
  • Random split أو rolling features من غير shift (leakage).
  • MAPE على بيانات فيها أيام صفرية.
  • تقييم على فترة واحدة بس (ممكن تكون محظوظة).
  • تجاهل الإجازات والأحداث المعروفة مسبقًا.
  • Forecast بدون intervals لقرارات capacity.
  • مفيش مقارنة بالـ seasonal naive.
13

اختبر فهمك

Knowledge check
Basics

MASE = 1.15 للموديل الجديد. المعنى؟

feature اسمها rolling_mean_7 اتحسبت بـ rolling(7).mean() على السلسلة مباشرة. المشكلة؟

14

تمرين محلول

Worked exercise
Practical
توقع تذاكر الدعم اليومية لـ 14 يوم لتخطيط الـ shifts

الحل: بيانات 2 سنة يومية. Baseline: seasonal naive أسبوعي. نماذج: SARIMAX(1,1,1)(1,1,1,7) مع إجازات + LightGBM بـ lags (14، 21، 35 لأن الـ horizon 14) و dow وأحداث (إطلاق features من الـ release calendar). Backtest: 8 folds كل أسبوعين، WAPE و MASE و coverage الـ 80%. القرار: الموديل اللي MASE بتاعه < 0.85 في كل الـ folds تقريبًا، والـ shifts بتتخطط على p80 للأيام اللي فيها إطلاقات. وراقب الخطأ أسبوعيًا بعد ما الفعلي يوصل.

15

أسئلة إنترفيو

Interview questions
Basics
(Mid) ليه ما ينفعش random split في الـ time series؟
لأن الموديل هيتدرب على بيانات من المستقبل بالنسبة لنقاط الـ test (leakage)، والارتباط الزمني بين النقاط بيخلي الأداء يبان أحسن بكتير من الواقع. لازم split زمني أو rolling-origin backtesting.
(Senior) آلاف tenants وعايزين forecast لكل واحد. تصميمك؟
موديل global (LightGBM) بـ lag/rolling features و tenant features (الخطة، الحجم، القطاع) بدل ARIMA لكل series، مع fallback لـ seasonal naive للـ series القصيرة، backtesting على عينة tenants بشرائح، quantile outputs للـ intervals، pipeline أسبوعي بيكتب p10/p50/p90 مع model version، ومراقبة الخطأ بعد وصول الفعلي.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس