التقييم ليس رقمًا واحدًا
Model evaluation يجيب: هل النموذج مفيد وآمن ضمن سياق محدد؟ لا يكفي أن تقول accuracy=94%. يجب تحديد population، time window، label definition، baseline، confidence intervals أو variability، و cost of errors. افصل offline evaluation عن online outcomes.
احفظ test set بعيدًا عن tuning، وامنع data leakage، واستخدم temporal/group splits عندما تكون طبيعة البيانات تتطلب ذلك. أي تغيير في preprocessing أو threshold أو feature definition يستلزم regression evaluation.
Confusion matrix والـ threshold
Classification و Regression metrics
في classification راجع confusion matrix عند threshold محدد. Precision مهم عندما false alarms مكلفة، و recall مهم عندما تفويت الحالة مكلف. F1 يوازن بينهما لكنه يخفي trade-off؛ PR-AUC مناسب غالبًا عند rare positive class. ROC-AUC يقيس ترتيبًا عامًا ولا يحدد threshold التشغيل. في regression، MAE مفهوم بوحدة target، RMSE يعاقب الأخطاء الكبيرة، و R² يقارن بتباين baseline لكنه قد يكون سالبًا على test.
لا تقارن metric بين datasets مختلفة دون النظر إلى prevalence و label policy. قيّم calibration إذا كانت probability تُستخدم في قرارات أو budgets.
المقاييس من الصفر، وهامش الخطأ اللي محدش بيحسبه
«الموديل B أحسن من A: 0.84 مقابل 0.82». قبل ما تصدّق: على كام عيّنة؟ لو 200، الفرق ده ممكن يتعكس لو غيّرت العيّنة. المقياس من غير هامش خطأ نص معلومة. الكود ده بيحسب المقاييس بإيده (عشان تعرف كل واحد بيعاقب إيه) وبعدين بيحسب الـ confidence interval بالـ bootstrap.
import numpy as np
from sklearn.metrics import average_precision_score, f1_score, precision_score, recall_score, roc_auc_score
rng = np.random.default_rng(8)
def simulate(n, skill):
"""Scores for a binary task with 10% positives. Higher skill = better separation."""
y = (rng.random(n) < 0.10).astype(int)
score = np.clip(rng.normal(0.30 + skill * y, 0.18), 0, 1)
return y, score
y, s = simulate(4000, skill=0.30)
pred = (s >= 0.5).astype(int)
tp = int(((pred == 1) & (y == 1)).sum()); fp = int(((pred == 1) & (y == 0)).sum())
fn = int(((pred == 0) & (y == 1)).sum()); tn = int(((pred == 0) & (y == 0)).sum())
precision, recall = tp / (tp + fp), tp / (tp + fn)
print(f"confusion matrix: TP={tp} FP={fp} FN={fn} TN={tn}")
print(f"accuracy = {(tp + tn) / len(y):.3f} (a model that always says 'negative' gets {1 - y.mean():.3f})")
print(f"precision = {precision:.3f} of the alerts raised, how many were real")
print(f"recall = {recall:.3f} of the real cases, how many were caught")
print(f"specificity = {tn / (tn + fp):.3f} of the negatives, how many were left alone")
print(f"F1 = {2 * precision * recall / (precision + recall):.3f} harmonic mean: punishes an imbalance between the two")
# ROC-AUC by its definition: probability that a random positive outranks a random negative
pos, neg = s[y == 1], s[y == 0]
auc_by_definition = (pos[:, None] > neg[None, :]).mean() + 0.5 * (pos[:, None] == neg[None, :]).mean()
print(f"ROC-AUC = {auc_by_definition:.3f} P(score of a random positive > score of a random negative)")
print(f"PR-AUC = {average_precision_score(y, s):.3f} baseline for a random ranker = positive rate = {y.mean():.3f}")
assert np.isclose(precision, precision_score(y, pred)) and np.isclose(recall, recall_score(y, pred))
assert np.isclose(auc_by_definition, roc_auc_score(y, s))
print("hand-computed values match scikit-learn: True")
# ---------- how much should you trust a difference between two models? ----------
def bootstrap_ci(y, pa, pb, metric, rounds=2000):
n, diffs = len(y), []
for _ in range(rounds):
idx = rng.integers(0, n, n) # resample the TEST SET with replacement
if y[idx].sum() == 0: continue
diffs.append(metric(y[idx], pb[idx]) - metric(y[idx], pa[idx]))
lo, hi = np.percentile(diffs, [2.5, 97.5])
return float(np.mean(diffs)), float(lo), float(hi)
print("\nmodel B vs model A (B is truly slightly better). 95% CI of the F1 difference, same test rows for both:")
for n in (200, 1000, 5000, 20000):
y = (rng.random(n) < 0.10).astype(int)
noise = rng.normal(0, 0.18, n) # shared noise: both models see the same hard examples
a = (np.clip(0.30 + 0.28 * y + noise + rng.normal(0, 0.05, n), 0, 1) >= 0.5).astype(int)
b = (np.clip(0.30 + 0.31 * y + noise + rng.normal(0, 0.05, n), 0, 1) >= 0.5).astype(int)
f1 = lambda yy, pp: f1_score(yy, pp, zero_division=0)
mean, lo, hi = bootstrap_ci(y, a, b, f1)
verdict = "B better (interval excludes 0)" if lo > 0 else ("A better" if hi < 0 else "cannot tell")
print(f" n={n:>6} positives={int(y.sum()):>5} diff={mean:+.3f} CI=[{lo:+.3f}, {hi:+.3f}] -> {verdict}")confusion matrix: TP=268 FP=462 FN=108 TN=3162
accuracy = 0.858 (a model that always says 'negative' gets 0.906)
precision = 0.367 of the alerts raised, how many were real
recall = 0.713 of the real cases, how many were caught
specificity = 0.873 of the negatives, how many were left alone
F1 = 0.485 harmonic mean: punishes an imbalance between the two
ROC-AUC = 0.888 P(score of a random positive > score of a random negative)
PR-AUC = 0.524 baseline for a random ranker = positive rate = 0.094
hand-computed values match scikit-learn: True
model B vs model A (B is truly slightly better). 95% CI of the F1 difference, same test rows for both:
n= 200 positives= 28 diff=+0.007 CI=[-0.110, +0.126] -> cannot tell
n= 1000 positives= 102 diff=+0.027 CI=[-0.012, +0.067] -> cannot tell
n= 5000 positives= 500 diff=+0.015 CI=[-0.002, +0.033] -> cannot tell
n= 20000 positives= 1984 diff=+0.028 CI=[+0.019, +0.038] -> B better (interval excludes 0)Accuracy: موديلنا أخد 0.858 والموديل اللي بيقول «سالب» دايمًا بياخد 0.906 — يعني بالـ accuracy موديلنا «أسوأ من ولا حاجة»، مع إنه بيمسك 71% من الحالات الحقيقية والتاني بيمسك صفر. ده أوضح دليل إن الـ accuracy مقياس غلط للأحداث النادرة.
ROC-AUC من تعريفه: احتمال إن موجب عشوائي ياخد score أعلى من سالب عشوائي. مفيش threshold في التعريف — هو بيقيس الترتيب بس. وعشان كده ممكن يبقى عالي والموديل لسه عديم الفايدة عند الـ threshold اللي بتشتغل بيه. مع الأحداث النادرة، الـ PR-AUC أصدق لأنه بيركّز على الموجب.
الجدول الأخير هو الدرس: الموديل B أحسن فعلًا (إحنا اللي بنيناه كده)، ومع ذلك على عيّنات صغيرة الـ interval بيعدّي على الصفر — يعني البيانات مش كفاية تثبت الفرق. لاحظ عمود positives: اللي بيحدد الدقة عدد الحالات الموجبة مش حجم الـ test set. test set من 1000 صف فيه 100 موجب بس.
ليه paired؟ بنعيد العيّنة لنفس الصفوف للموديلين مع بعض. ده بيشيل تباين «صعوبة الأمثلة» وبيدّي interval أضيق بكتير من مقارنة رقمين مستقلين.
| السؤال | المقياس |
|---|---|
| الإنذار الكاذب مكلّف (مراجعة بشرية، إزعاج عميل) | Precision عند recall محدد |
| تفويت الحالة مكلّف (احتيال، تشخيص) | Recall عند precision محدد |
| بتقارن موديلات قبل ما تحدد threshold، والحدث نادر | PR-AUC |
| هتستخدم الاحتمال نفسه في حساب | Log loss / Brier + calibration curve |
| توقع رقمي والأخطاء الكبيرة أسوأ بشكل غير خطي | RMSE (والـ MAE لو مش عايز الـ outliers تسيطر) |
| ترتيب نتايج (بحث، توصية، retrieval) | Recall@k، MRR، NDCG |
Test set فيه 300 صف منهم 12 موجب. موديلك الجديد recall بتاعه 0.75 والقديم 0.67. الاستنتاج؟
Metric Taxonomy: Ranking, Classification, Regression and Generation
Classification: precision/recall/F1 و PR-AUC/ROC-AUC. Regression: MAE/RMSE/R² مع الانتباه إلى units و outliers. Ranking: NDCG@k و MRR و Recall@k. Retrieval: Recall@k و Precision@k و MRR، وأحيانًا nDCG. Generation: exact match أو task-specific tests أو rubric-based human evaluation. لا يوجد universal metric.
Metric يجب أن يطابق وحدة القرار. إذا المستخدم يرى أول 5 نتائج، فـ Recall@100 وحده لا يصف التجربة. إذا الأخطاء الكبيرة مكلفة، RMSE يعاقبها أكثر من MAE. إذا positives نادرة، accuracy غالبًا ليست metric رئيسية. عرّف metric mathematically واذكر threshold و averaging method.
from sklearn.metrics import precision_score, recall_score, f1_score, mean_absolute_error
import numpy as np
y = np.array([1,0,1,0,1,0])
p = np.array([1,0,0,0,1,1])
print('precision', precision_score(y,p,zero_division=0))
print('recall', recall_score(y,p,zero_division=0))
print('f1', f1_score(y,p,zero_division=0))
print('mae example', mean_absolute_error([10,20,30],[12,18,50]))Thresholds و Class Imbalance و Calibration
غيّر threshold بناءً على business cost matrix وسعة المراجعة، لا بناءً على تحسين F1 فقط. Class weights و resampling حلول محتملة، لكن resampling يجب أن يحدث داخل training folds فقط. لا توازن test set صناعيًا إذا كان الهدف قياس الأداء على الواقع.
Calibration تعني أن الحالات ذات probability 0.8 تتحقق تقريبًا بنسبة 80% ضمن مجموعة مناسبة. استخدم reliability curves و Brier score عند الحاجة. راقب performance حسب segments وتحقق من sample sizes قبل استنتاجات fairness.
Golden Dataset و Evaluation Protocol
أنشئ golden dataset ممثلًا للحالات العادية والصعبة والـ edge cases، مع labels موثقة ونسخة ثابتة. وثّق metric primary و guardrails، واطلب مقارنة ضد baseline وإصدار production الحالي. ضع acceptance thresholds مسبقًا حتى لا تغيّر المقياس بعد رؤية النتيجة.
في CI لا يلزم تدريب model كبير كل commit؛ شغّل fast smoke/regression tests على sample صغير، وجدولة تقييم كامل، ثم approval قبل promotion. احتفظ بتقارير الأخطاء والـ slice analysis.
# A compact acceptance contract
acceptance = {
"primary_metric": "recall_at_precision_0_80",
"minimum_primary": 0.72,
"max_p95_inference_ms": 120,
"max_missing_feature_rate": 0.01,
"must_beat_baseline": True,
}
assert candidate_metrics["primary"] >= acceptance["minimum_primary"]
assert candidate_metrics["p95_ms"] <= acceptance["max_p95_inference_ms"]Evaluation Dataset Governance and Regression Gates
Golden dataset يحتاج source provenance، consent/rights، privacy classification، split، label guideline version، adjudication status، و owner. احذف PII أو اعزلها حسب policy، ولا تضع secrets أو customer documents في repo. Dataset changes يجب أن تكون reviewed؛ إضافة أمثلة سهلة فقط قد ترفع score ظاهريًا وتضعف التمثيل.
Release gate يربط thresholds بـ critical slices و quality regressions و latency/cost budgets. لا تكتفِ بمتوسط عام؛ أوقف release إذا فشل security invariant أو tenant isolation حتى لو average quality تحسن. احتفظ baseline results وقارن paired examples بين النسخ.
release_gates = {
'schema_pass_rate': 1.0,
'tenant_isolation_violations': 0,
'critical_slice_min_recall': 0.90,
'p95_latency_ms_max': 2500,
'cost_per_task_max_usd': 0.02,
}
# Values are example policy thresholds; derive real limits from product risk/SLO.
assert release_gates['tenant_isolation_violations'] == 0Evaluation Slices و Confidence Intervals
Overall metric قد تخفي أداء ضعيفًا في cohort صغير أو لغة أو منطقة أو فئة منتج. اعمل slice analysis مع sample size و uncertainty؛ لا تفسر فرقًا صغيرًا على 12 عينة كحقيقة مستقرة. Bootstrap confidence intervals قد تساعد في تقدير variability، لكن لا تصلح bias في dataset أو labels.
اختبر data slices التي لها معنى business/legal، مع احترام privacy والـ minimum group size. وثّق الفئات التي لم تُقيّم بسبب نقص البيانات بدل افتراض التكافؤ.
from sklearn.utils import resample
import numpy as np
scores = []
for _ in range(1000):
sample = resample(per_example_scores, replace=True, random_state=None)
scores.append(np.mean(sample))
lo, hi = np.percentile(scores, [2.5, 97.5])
print(lo, hi)Confidence Intervals, Bootstrap and Statistical Power
Score على finite test set هو estimate وليس حقيقة مطلقة. Bootstrap يعيد sampling من test examples مع replacement ويحسب metric مرات كثيرة لتقدير interval، مع الانتباه لو samples grouped أو time-dependent؛ عندها resampling يجب أن يحترم dependence structure. Small test set ينتج uncertainty كبيرة حتى لو point estimate يبدو ممتازًا.
Statistical power تعتمد على effect size و variance و sample size و significance level. عدم وجود statistically significant difference لا يعني أن النموذجين متساويان؛ ربما التجربة underpowered. سجل hypothesis قبل التجربة، وحدد primary metric و guardrails، وتجنب repeated peeking دون sequential-testing plan.
import numpy as np
rng = np.random.default_rng(7)
values = np.array([1,0,1,1,0,1,0,1,1,0], dtype=float)
boot = [rng.choice(values, size=len(values), replace=True).mean() for _ in range(5000)]
lo, hi = np.quantile(boot, [.025, .975])
print(round(values.mean(),3), (round(lo,3), round(hi,3)))متى يكون LLM-as-Judge غير مناسب؟
LLM-as-judge مفيد في تقييم أسلوب أو relevance على scale، لكنه قد يفضل إجابات أطول، يتأثر بترتيب المرشحين، أو يهلوس مبررات. لا تستخدمه وحده في قرارات high-stakes أو في تقييم factual correctness دون evidence. استخدم pairwise comparisons عند الحاجة، randomize order، blind model identity، وراجع عينة بشرية.
اكتب rubric محددًا مع أمثلة درجات، اختبر inter-rater agreement، وافصل judge model عن generation model قدر الإمكان. تعامل مع judge score كقياس noisy وليس ground truth.
LLM-as-a-Judge: Rubrics, Bias and Calibration
LLM judge مفيد لتوسيع evaluation عندما human labels مكلفة، لكنه يتأثر ب position bias، verbosity bias، self-preference، prompt wording، model version، و rubric ambiguity. لا تطلب فقط “قيّم الجودة من 1 إلى 10”. عرّف dimensions مستقلة، anchors لكل score، وأمثلة borderline، واطلب evidence من answer/source.
اعمل calibration على human-labeled subset، وقس agreement per dimension، disagreement rate، false accept/reject، و drift بين judge versions. Pairwise comparison قد يكون أكثر استقرارًا لبعض المهام من absolute scoring، لكنه يتأثر بترتيب المرشحين. لا تجعل judge وحده release gate لنظام عالي المخاطر.
judge_rubric = {
'groundedness': 'Every factual claim is supported by supplied evidence',
'completeness': 'All required sub-questions are addressed',
'format': 'Output conforms to the required schema',
'safety': 'No unauthorized disclosure or unsafe action',
}
# Store rubric version + judge model ID + evidence IDs with every evaluation.
print(list(judge_rubric))Evaluation Anti-patterns
Anti-patterns: tuning على test، اختيار metric بعد رؤية النتائج، حذف الحالات الصعبة، resampling للـ test، تسريب entity بين folds، استخدام accuracy مع rare class، وقياس على labels غير موثوقة. كذلك قد يتحسن aggregate بينما تتدهور cohort مهمة. احتفظ evaluation protocol versioned واطلب review للتغييرات.
كل رقم في report يجب أن يذكر dataset version، split strategy، metric definition، threshold، sample count، و uncertainty. إذا لم تستطع إعادة الرقم، فهو ليس evidence release كافيًا.
Online Experiments و Delayed Labels
Online A/B test يحتاج randomization صحيحًا، guardrails، sample-size awareness، مدة كافية، ومراعاة interference بين المستخدمين. في ML labels قد تتأخر أسابيع؛ لا تحكم مبكرًا على performance. Shadow mode يقارن predictions دون تغيير user outcome، لكنه لا يثبت causal uplift.
ابدأ بتجربة منخفضة المخاطر، راقب business metric مع safety metrics، واحتفظ rollback سريع. لا تختبر قرارًا عالي التأثير على مجموعة مستخدمين دون approvals ومراجعة قانونية/أخلاقية مناسبة.
اختيار الـ threshold بالتكلفة مش بالـ accuracy
موديل fraud بيطلع احتمال. الـ threshold الافتراضي 0.5 مالوش أي علاقة بالبيزنس. السؤال الحقيقي: كام بيكلّف false negative (عملية احتيال عدّت) مقابل false positive (عميل سليم اترفض)؟
def expected_cost(y_true, scores, threshold, cost_fn=500.0, cost_fp=15.0):
fn = sum(1 for y, s in zip(y_true, scores) if y == 1 and s < threshold)
fp = sum(1 for y, s in zip(y_true, scores) if y == 0 and s >= threshold)
return fn * cost_fn + fp * cost_fp, fn, fp
def best_threshold(y_true, scores, **costs):
candidates = sorted(set(scores))
return min(((t, *expected_cost(y_true, scores, t, **costs)) for t in candidates), key=lambda r: r[1])
# t, cost, fn, fp = best_threshold(y_val, p_val, cost_fn=500, cost_fp=15)
# With fraud 30x more expensive than a false alarm, the best threshold is usually far below 0.5.| Threshold | FN | FP | التكلفة (FN=500، FP=15) |
|---|---|---|---|
| 0.50 | 42 | 110 | 22,650 |
| 0.25 | 18 | 390 | 14,850 |
| 0.10 | 7 | 1,240 | 22,100 |
أرقام توضيحية: الفكرة إن المنحنى ليه قاع، ومكانه بيتحدد بنسبة التكاليف وبالـ capacity (فريق المراجعة يقدر يراجع كام حالة في اليوم؟).
اختار الـ threshold على validation set، وقيس التكلفة النهائية على test set منفصل — وإلا انت بتعمل overfit للـ threshold. ولما الـ base rate يتغير في الإنتاج (موسم، حملة)، الـ threshold المثالي بيتغير: راقب الـ precision الفعلية من المراجعات.
Ranking metrics بالحساب: Recall@k و MRR و nDCG
import math
def recall_at_k(relevant: set, ranked: list, k: int) -> float:
return len(relevant & set(ranked[:k])) / len(relevant) if relevant else 0.0
def mrr(relevant: set, ranked: list) -> float:
for i, doc in enumerate(ranked, start=1):
if doc in relevant:
return 1.0 / i
return 0.0
def ndcg_at_k(gains: dict, ranked: list, k: int) -> float: # gains: doc -> graded relevance (0..3)
dcg = sum(gains.get(d, 0) / math.log2(i + 1) for i, d in enumerate(ranked[:k], start=1))
ideal = sorted(gains.values(), reverse=True)[:k]
idcg = sum(g / math.log2(i + 1) for i, g in enumerate(ideal, start=1))
return dcg / idcg if idcg else 0.0
ranked = ["d7", "d2", "d9", "d1", "d4"]
print(recall_at_k({"d2", "d4"}, ranked, 3)) # 0.5 (d2 found in top-3, d4 not)
print(mrr({"d2", "d4"}, ranked)) # 0.5 (first relevant at rank 2)
print(round(ndcg_at_k({"d2": 3, "d4": 1}, ranked, 5), 3))| Metric | بيجاوب على | استخدمه لما |
|---|---|---|
| Recall@k | هل المستند الصح موجود في أول k اللي هيتبعتوا للموديل؟ | RAG: لو مش في الـ context، الموديل مش هيعرف |
| MRR | أول نتيجة صح جت في الترتيب كام؟ | إجابة واحدة صح (FAQ، بحث بالاسم) |
| nDCG@k | جودة الترتيب مع درجات relevance | نتايج متدرجة الأهمية (بحث منتجات، recommendations) |
تقييم التوقعات (time series) والـ recommendations
- MAE سهل الشرح بوحدة البيزنس («بنغلط في المتوسط 12 وحدة»). MAPE بينفجر لما القيم الحقيقية قريبة من صفر؛ sMAPE أو WAPE (مجموع الأخطاء ÷ مجموع القيم) أثبت.
- Backtesting بنوافذ زمنية (rolling origin) بدل random split: الموديل ما يشوفش المستقبل أبدًا.
- Baseline إجباري: seasonal naive (نفس اليوم الأسبوع اللي فات). موديل معقد مش بيغلب الـ baseline = مش مفيد.
- Recommenders: offline precision@k/recall@k/nDCG على interactions مستقبلية (split زمني)، بالإضافة لـ coverage (نسبة الكتالوج اللي بيتقترح) و novelty، وفي الآخر A/B على metric بيزنس (CTR، شراء).
التطبيق العملي في درسي Recommender Systems وTime Series Forecasting.
اختبر فهمك
هل LLM-as-judge بديل كامل عن human evaluation؟
هل نستخدم test set لاختيار threshold؟
اختبار الإتقان المهني
ما الذي يضيفه bootstrap confidence interval إلى metric report؟
لماذا لا ينبغي أن يكون LLM judge هو release gate الوحيد؟
ما الذي يجب أن يحدث إذا فشل tenant-isolation invariant؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.