Software Engineer Encyclopedia
0%
Domain 10 · Python, Machine Learning & Data Engineering · Pillar

ركيزة تقييم نماذج Machine Learning

Machine Learning Evaluation Pillar

Metrics, thresholds, imbalance, calibration, golden datasets and acceptance gates.

  • Intermediate
  • ~11 min read
  • 13 sections
  • 8 code examples
  • 1 diagrams
  • 6 questions
  • Priority L2 · Essential
  • scikit-learn · MLflow

بعد الدرس ده هتقدر

  • تحسب مقاييس التصنيف بإيدك وتعرف كل مقياس بيعاقب إيه.
  • تحسب confidence interval بالـ bootstrap لفرق بين موديلين.
  • تختار المقياس حسب تكلفة الخطأ.

المتطلبات قبل ما تبدأ

أساسيات البرمجة والـ complexity. مش محتاج خبرة Python سابقة.

01

التقييم ليس رقمًا واحدًا

Evaluation as a product decision
Deep dive

Model evaluation يجيب: هل النموذج مفيد وآمن ضمن سياق محدد؟ لا يكفي أن تقول accuracy=94%. يجب تحديد population، time window، label definition، baseline، confidence intervals أو variability، و cost of errors. افصل offline evaluation عن online outcomes.

احفظ test set بعيدًا عن tuning، وامنع data leakage، واستخدم temporal/group splits عندما تكون طبيعة البيانات تتطلب ذلك. أي تغيير في preprocessing أو threshold أو feature definition يستلزم regression evaluation.

02

Confusion matrix والـ threshold

How the threshold moves errors
Basics
TPcaught fraudFNmissed fraud ($$$)FPfalse alarm ($)TNprecision = TP/(TP+FP) · recall = TP/(TP+FN)threshold 0 → 1precisionrecall
Lowering the threshold trades false negatives for false positives; the business cost decides where to stop
03

Classification و Regression metrics

Precision, recall, F1, ROC-AUC, PR-AUC, MAE, RMSE
Practical

في classification راجع confusion matrix عند threshold محدد. Precision مهم عندما false alarms مكلفة، و recall مهم عندما تفويت الحالة مكلف. F1 يوازن بينهما لكنه يخفي trade-off؛ PR-AUC مناسب غالبًا عند rare positive class. ROC-AUC يقيس ترتيبًا عامًا ولا يحدد threshold التشغيل. في regression، MAE مفهوم بوحدة target، RMSE يعاقب الأخطاء الكبيرة، و R² يقارن بتباين baseline لكنه قد يكون سالبًا على test.

لا تقارن metric بين datasets مختلفة دون النظر إلى prevalence و label policy. قيّم calibration إذا كانت probability تُستخدم في قرارات أو budgets.

المقاييس من الصفر، وهامش الخطأ اللي محدش بيحسبه

«الموديل B أحسن من A: 0.84 مقابل 0.82». قبل ما تصدّق: على كام عيّنة؟ لو 200، الفرق ده ممكن يتعكس لو غيّرت العيّنة. المقياس من غير هامش خطأ نص معلومة. الكود ده بيحسب المقاييس بإيده (عشان تعرف كل واحد بيعاقب إيه) وبعدين بيحسب الـ confidence interval بالـ bootstrap.

Pythonmetrics_and_uncertainty.py — metrics verified against scikit-learn, then bootstrap CIs for a model comparisonExecuted ✓
import numpy as np
from sklearn.metrics import average_precision_score, f1_score, precision_score, recall_score, roc_auc_score

rng = np.random.default_rng(8)

def simulate(n, skill):
    """Scores for a binary task with 10% positives. Higher skill = better separation."""
    y = (rng.random(n) < 0.10).astype(int)
    score = np.clip(rng.normal(0.30 + skill * y, 0.18), 0, 1)
    return y, score

y, s = simulate(4000, skill=0.30)
pred = (s >= 0.5).astype(int)

tp = int(((pred == 1) & (y == 1)).sum()); fp = int(((pred == 1) & (y == 0)).sum())
fn = int(((pred == 0) & (y == 1)).sum()); tn = int(((pred == 0) & (y == 0)).sum())
precision, recall = tp / (tp + fp), tp / (tp + fn)
print(f"confusion matrix: TP={tp} FP={fp} FN={fn} TN={tn}")
print(f"accuracy    = {(tp + tn) / len(y):.3f}   (a model that always says 'negative' gets {1 - y.mean():.3f})")
print(f"precision   = {precision:.3f}   of the alerts raised, how many were real")
print(f"recall      = {recall:.3f}   of the real cases, how many were caught")
print(f"specificity = {tn / (tn + fp):.3f}   of the negatives, how many were left alone")
print(f"F1          = {2 * precision * recall / (precision + recall):.3f}   harmonic mean: punishes an imbalance between the two")

# ROC-AUC by its definition: probability that a random positive outranks a random negative
pos, neg = s[y == 1], s[y == 0]
auc_by_definition = (pos[:, None] > neg[None, :]).mean() + 0.5 * (pos[:, None] == neg[None, :]).mean()
print(f"ROC-AUC     = {auc_by_definition:.3f}   P(score of a random positive > score of a random negative)")
print(f"PR-AUC      = {average_precision_score(y, s):.3f}   baseline for a random ranker = positive rate = {y.mean():.3f}")
assert np.isclose(precision, precision_score(y, pred)) and np.isclose(recall, recall_score(y, pred))
assert np.isclose(auc_by_definition, roc_auc_score(y, s))
print("hand-computed values match scikit-learn: True")

# ---------- how much should you trust a difference between two models? ----------
def bootstrap_ci(y, pa, pb, metric, rounds=2000):
    n, diffs = len(y), []
    for _ in range(rounds):
        idx = rng.integers(0, n, n)                       # resample the TEST SET with replacement
        if y[idx].sum() == 0: continue
        diffs.append(metric(y[idx], pb[idx]) - metric(y[idx], pa[idx]))
    lo, hi = np.percentile(diffs, [2.5, 97.5])
    return float(np.mean(diffs)), float(lo), float(hi)

print("\nmodel B vs model A (B is truly slightly better). 95% CI of the F1 difference, same test rows for both:")
for n in (200, 1000, 5000, 20000):
    y = (rng.random(n) < 0.10).astype(int)
    noise = rng.normal(0, 0.18, n)                        # shared noise: both models see the same hard examples
    a = (np.clip(0.30 + 0.28 * y + noise + rng.normal(0, 0.05, n), 0, 1) >= 0.5).astype(int)
    b = (np.clip(0.30 + 0.31 * y + noise + rng.normal(0, 0.05, n), 0, 1) >= 0.5).astype(int)
    f1 = lambda yy, pp: f1_score(yy, pp, zero_division=0)
    mean, lo, hi = bootstrap_ci(y, a, b, f1)
    verdict = "B better (interval excludes 0)" if lo > 0 else ("A better" if hi < 0 else "cannot tell")
    print(f"  n={n:>6}  positives={int(y.sum()):>5}  diff={mean:+.3f}  CI=[{lo:+.3f}, {hi:+.3f}]  -> {verdict}")
ConsoleOutput — captured from a real run
confusion matrix: TP=268 FP=462 FN=108 TN=3162
accuracy    = 0.858   (a model that always says 'negative' gets 0.906)
precision   = 0.367   of the alerts raised, how many were real
recall      = 0.713   of the real cases, how many were caught
specificity = 0.873   of the negatives, how many were left alone
F1          = 0.485   harmonic mean: punishes an imbalance between the two
ROC-AUC     = 0.888   P(score of a random positive > score of a random negative)
PR-AUC      = 0.524   baseline for a random ranker = positive rate = 0.094
hand-computed values match scikit-learn: True

model B vs model A (B is truly slightly better). 95% CI of the F1 difference, same test rows for both:
  n=   200  positives=   28  diff=+0.007  CI=[-0.110, +0.126]  -> cannot tell
  n=  1000  positives=  102  diff=+0.027  CI=[-0.012, +0.067]  -> cannot tell
  n=  5000  positives=  500  diff=+0.015  CI=[-0.002, +0.033]  -> cannot tell
  n= 20000  positives= 1984  diff=+0.028  CI=[+0.019, +0.038]  -> B better (interval excludes 0)

Accuracy: موديلنا أخد 0.858 والموديل اللي بيقول «سالب» دايمًا بياخد 0.906 — يعني بالـ accuracy موديلنا «أسوأ من ولا حاجة»، مع إنه بيمسك 71% من الحالات الحقيقية والتاني بيمسك صفر. ده أوضح دليل إن الـ accuracy مقياس غلط للأحداث النادرة.

ROC-AUC من تعريفه: احتمال إن موجب عشوائي ياخد score أعلى من سالب عشوائي. مفيش threshold في التعريف — هو بيقيس الترتيب بس. وعشان كده ممكن يبقى عالي والموديل لسه عديم الفايدة عند الـ threshold اللي بتشتغل بيه. مع الأحداث النادرة، الـ PR-AUC أصدق لأنه بيركّز على الموجب.

الجدول الأخير هو الدرس: الموديل B أحسن فعلًا (إحنا اللي بنيناه كده)، ومع ذلك على عيّنات صغيرة الـ interval بيعدّي على الصفر — يعني البيانات مش كفاية تثبت الفرق. لاحظ عمود positives: اللي بيحدد الدقة عدد الحالات الموجبة مش حجم الـ test set. test set من 1000 صف فيه 100 موجب بس.

ليه paired؟ بنعيد العيّنة لنفس الصفوف للموديلين مع بعض. ده بيشيل تباين «صعوبة الأمثلة» وبيدّي interval أضيق بكتير من مقارنة رقمين مستقلين.

السؤالالمقياس
الإنذار الكاذب مكلّف (مراجعة بشرية، إزعاج عميل)Precision عند recall محدد
تفويت الحالة مكلّف (احتيال، تشخيص)Recall عند precision محدد
بتقارن موديلات قبل ما تحدد threshold، والحدث نادرPR-AUC
هتستخدم الاحتمال نفسه في حسابLog loss / Brier + calibration curve
توقع رقمي والأخطاء الكبيرة أسوأ بشكل غير خطيRMSE (والـ MAE لو مش عايز الـ outliers تسيطر)
ترتيب نتايج (بحث، توصية، retrieval)Recall@k، MRR، NDCG

Test set فيه 300 صف منهم 12 موجب. موديلك الجديد recall بتاعه 0.75 والقديم 0.67. الاستنتاج؟

Metric Taxonomy: Ranking, Classification, Regression and Generation

Classification: precision/recall/F1 و PR-AUC/ROC-AUC. Regression: MAE/RMSE/R² مع الانتباه إلى units و outliers. Ranking: NDCG@k و MRR و Recall@k. Retrieval: Recall@k و Precision@k و MRR، وأحيانًا nDCG. Generation: exact match أو task-specific tests أو rubric-based human evaluation. لا يوجد universal metric.

Metric يجب أن يطابق وحدة القرار. إذا المستخدم يرى أول 5 نتائج، فـ Recall@100 وحده لا يصف التجربة. إذا الأخطاء الكبيرة مكلفة، RMSE يعاقبها أكثر من MAE. إذا positives نادرة، accuracy غالبًا ليست metric رئيسية. عرّف metric mathematically واذكر threshold و averaging method.

PythonSelect metrics from the decision being made
from sklearn.metrics import precision_score, recall_score, f1_score, mean_absolute_error
import numpy as np

y = np.array([1,0,1,0,1,0])
p = np.array([1,0,0,0,1,1])
print('precision', precision_score(y,p,zero_division=0))
print('recall', recall_score(y,p,zero_division=0))
print('f1', f1_score(y,p,zero_division=0))
print('mae example', mean_absolute_error([10,20,30],[12,18,50]))
04

Thresholds و Class Imbalance و Calibration

Operationalize model scores
Deep dive

غيّر threshold بناءً على business cost matrix وسعة المراجعة، لا بناءً على تحسين F1 فقط. Class weights و resampling حلول محتملة، لكن resampling يجب أن يحدث داخل training folds فقط. لا توازن test set صناعيًا إذا كان الهدف قياس الأداء على الواقع.

Calibration تعني أن الحالات ذات probability 0.8 تتحقق تقريبًا بنسبة 80% ضمن مجموعة مناسبة. استخدم reliability curves و Brier score عند الحاجة. راقب performance حسب segments وتحقق من sample sizes قبل استنتاجات fairness.

05

Golden Dataset و Evaluation Protocol

Repeatable model acceptance
Practical

أنشئ golden dataset ممثلًا للحالات العادية والصعبة والـ edge cases، مع labels موثقة ونسخة ثابتة. وثّق metric primary و guardrails، واطلب مقارنة ضد baseline وإصدار production الحالي. ضع acceptance thresholds مسبقًا حتى لا تغيّر المقياس بعد رؤية النتيجة.

في CI لا يلزم تدريب model كبير كل commit؛ شغّل fast smoke/regression tests على sample صغير، وجدولة تقييم كامل، ثم approval قبل promotion. احتفظ بتقارير الأخطاء والـ slice analysis.

PythonRepeatable model acceptance
# A compact acceptance contract
acceptance = {
    "primary_metric": "recall_at_precision_0_80",
    "minimum_primary": 0.72,
    "max_p95_inference_ms": 120,
    "max_missing_feature_rate": 0.01,
    "must_beat_baseline": True,
}
assert candidate_metrics["primary"] >= acceptance["minimum_primary"]
assert candidate_metrics["p95_ms"] <= acceptance["max_p95_inference_ms"]

Evaluation Dataset Governance and Regression Gates

Golden dataset يحتاج source provenance، consent/rights، privacy classification، split، label guideline version، adjudication status، و owner. احذف PII أو اعزلها حسب policy، ولا تضع secrets أو customer documents في repo. Dataset changes يجب أن تكون reviewed؛ إضافة أمثلة سهلة فقط قد ترفع score ظاهريًا وتضعف التمثيل.

Release gate يربط thresholds بـ critical slices و quality regressions و latency/cost budgets. لا تكتفِ بمتوسط عام؛ أوقف release إذا فشل security invariant أو tenant isolation حتى لو average quality تحسن. احتفظ baseline results وقارن paired examples بين النسخ.

PythonVersion examples, labels and expected behavior
release_gates = {
  'schema_pass_rate': 1.0,
  'tenant_isolation_violations': 0,
  'critical_slice_min_recall': 0.90,
  'p95_latency_ms_max': 2500,
  'cost_per_task_max_usd': 0.02,
}
# Values are example policy thresholds; derive real limits from product risk/SLO.
assert release_gates['tenant_isolation_violations'] == 0
06

Evaluation Slices و Confidence Intervals

Do not hide weak subgroups
Deep dive

Overall metric قد تخفي أداء ضعيفًا في cohort صغير أو لغة أو منطقة أو فئة منتج. اعمل slice analysis مع sample size و uncertainty؛ لا تفسر فرقًا صغيرًا على 12 عينة كحقيقة مستقرة. Bootstrap confidence intervals قد تساعد في تقدير variability، لكن لا تصلح bias في dataset أو labels.

اختبر data slices التي لها معنى business/legal، مع احترام privacy والـ minimum group size. وثّق الفئات التي لم تُقيّم بسبب نقص البيانات بدل افتراض التكافؤ.

PythonDo not hide weak subgroups
from sklearn.utils import resample
import numpy as np

scores = []
for _ in range(1000):
    sample = resample(per_example_scores, replace=True, random_state=None)
    scores.append(np.mean(sample))
lo, hi = np.percentile(scores, [2.5, 97.5])
print(lo, hi)

Confidence Intervals, Bootstrap and Statistical Power

Score على finite test set هو estimate وليس حقيقة مطلقة. Bootstrap يعيد sampling من test examples مع replacement ويحسب metric مرات كثيرة لتقدير interval، مع الانتباه لو samples grouped أو time-dependent؛ عندها resampling يجب أن يحترم dependence structure. Small test set ينتج uncertainty كبيرة حتى لو point estimate يبدو ممتازًا.

Statistical power تعتمد على effect size و variance و sample size و significance level. عدم وجود statistically significant difference لا يعني أن النموذجين متساويان؛ ربما التجربة underpowered. سجل hypothesis قبل التجربة، وحدد primary metric و guardrails، وتجنب repeated peeking دون sequential-testing plan.

PythonA metric estimate has uncertainty
import numpy as np

rng = np.random.default_rng(7)
values = np.array([1,0,1,1,0,1,0,1,1,0], dtype=float)
boot = [rng.choice(values, size=len(values), replace=True).mean() for _ in range(5000)]
lo, hi = np.quantile(boot, [.025, .975])
print(round(values.mean(),3), (round(lo,3), round(hi,3)))
07

متى يكون LLM-as-Judge غير مناسب؟

Judge calibration and human review
Practical

LLM-as-judge مفيد في تقييم أسلوب أو relevance على scale، لكنه قد يفضل إجابات أطول، يتأثر بترتيب المرشحين، أو يهلوس مبررات. لا تستخدمه وحده في قرارات high-stakes أو في تقييم factual correctness دون evidence. استخدم pairwise comparisons عند الحاجة، randomize order، blind model identity، وراجع عينة بشرية.

اكتب rubric محددًا مع أمثلة درجات، اختبر inter-rater agreement، وافصل judge model عن generation model قدر الإمكان. تعامل مع judge score كقياس noisy وليس ground truth.

LLM-as-a-Judge: Rubrics, Bias and Calibration

LLM judge مفيد لتوسيع evaluation عندما human labels مكلفة، لكنه يتأثر ب position bias، verbosity bias، self-preference، prompt wording، model version، و rubric ambiguity. لا تطلب فقط “قيّم الجودة من 1 إلى 10”. عرّف dimensions مستقلة، anchors لكل score، وأمثلة borderline، واطلب evidence من answer/source.

اعمل calibration على human-labeled subset، وقس agreement per dimension، disagreement rate، false accept/reject، و drift بين judge versions. Pairwise comparison قد يكون أكثر استقرارًا لبعض المهام من absolute scoring، لكنه يتأثر بترتيب المرشحين. لا تجعل judge وحده release gate لنظام عالي المخاطر.

PythonJudge scores are measurements with failure modes
judge_rubric = {
  'groundedness': 'Every factual claim is supported by supplied evidence',
  'completeness': 'All required sub-questions are addressed',
  'format': 'Output conforms to the required schema',
  'safety': 'No unauthorized disclosure or unsafe action',
}
# Store rubric version + judge model ID + evidence IDs with every evaluation.
print(list(judge_rubric))
08

Evaluation Anti-patterns

How metrics get accidentally gamed
Pitfalls

Anti-patterns: tuning على test، اختيار metric بعد رؤية النتائج، حذف الحالات الصعبة، resampling للـ test، تسريب entity بين folds، استخدام accuracy مع rare class، وقياس على labels غير موثوقة. كذلك قد يتحسن aggregate بينما تتدهور cohort مهمة. احتفظ evaluation protocol versioned واطلب review للتغييرات.

كل رقم في report يجب أن يذكر dataset version، split strategy، metric definition، threshold، sample count، و uncertainty. إذا لم تستطع إعادة الرقم، فهو ليس evidence release كافيًا.

09

Online Experiments و Delayed Labels

Measure real outcomes carefully
Practical

Online A/B test يحتاج randomization صحيحًا، guardrails، sample-size awareness، مدة كافية، ومراعاة interference بين المستخدمين. في ML labels قد تتأخر أسابيع؛ لا تحكم مبكرًا على performance. Shadow mode يقارن predictions دون تغيير user outcome، لكنه لا يثبت causal uplift.

ابدأ بتجربة منخفضة المخاطر، راقب business metric مع safety metrics، واحتفظ rollback سريع. لا تختبر قرارًا عالي التأثير على مجموعة مستخدمين دون approvals ومراجعة قانونية/أخلاقية مناسبة.

10

اختيار الـ threshold بالتكلفة مش بالـ accuracy

Cost-based threshold selection
Deep dive

موديل fraud بيطلع احتمال. الـ threshold الافتراضي 0.5 مالوش أي علاقة بالبيزنس. السؤال الحقيقي: كام بيكلّف false negative (عملية احتيال عدّت) مقابل false positive (عميل سليم اترفض)؟

Pythonpick the threshold that minimises expected cost on a validation set
def expected_cost(y_true, scores, threshold, cost_fn=500.0, cost_fp=15.0):
    fn = sum(1 for y, s in zip(y_true, scores) if y == 1 and s < threshold)
    fp = sum(1 for y, s in zip(y_true, scores) if y == 0 and s >= threshold)
    return fn * cost_fn + fp * cost_fp, fn, fp

def best_threshold(y_true, scores, **costs):
    candidates = sorted(set(scores))
    return min(((t, *expected_cost(y_true, scores, t, **costs)) for t in candidates), key=lambda r: r[1])

# t, cost, fn, fp = best_threshold(y_val, p_val, cost_fn=500, cost_fp=15)
# With fraud 30x more expensive than a false alarm, the best threshold is usually far below 0.5.
ThresholdFNFPالتكلفة (FN=500، FP=15)
0.504211022,650
0.251839014,850
0.1071,24022,100

أرقام توضيحية: الفكرة إن المنحنى ليه قاع، ومكانه بيتحدد بنسبة التكاليف وبالـ capacity (فريق المراجعة يقدر يراجع كام حالة في اليوم؟).

اختار الـ threshold على validation set، وقيس التكلفة النهائية على test set منفصل — وإلا انت بتعمل overfit للـ threshold. ولما الـ base rate يتغير في الإنتاج (موسم، حملة)، الـ threshold المثالي بيتغير: راقب الـ precision الفعلية من المراجعات.

11

Ranking metrics بالحساب: Recall@k و MRR و nDCG

Retrieval metrics computed by hand
Practical
Pythonretrieval_metrics.py
import math

def recall_at_k(relevant: set, ranked: list, k: int) -> float:
    return len(relevant & set(ranked[:k])) / len(relevant) if relevant else 0.0

def mrr(relevant: set, ranked: list) -> float:
    for i, doc in enumerate(ranked, start=1):
        if doc in relevant:
            return 1.0 / i
    return 0.0

def ndcg_at_k(gains: dict, ranked: list, k: int) -> float:            # gains: doc -> graded relevance (0..3)
    dcg = sum(gains.get(d, 0) / math.log2(i + 1) for i, d in enumerate(ranked[:k], start=1))
    ideal = sorted(gains.values(), reverse=True)[:k]
    idcg = sum(g / math.log2(i + 1) for i, g in enumerate(ideal, start=1))
    return dcg / idcg if idcg else 0.0

ranked = ["d7", "d2", "d9", "d1", "d4"]
print(recall_at_k({"d2", "d4"}, ranked, 3))          # 0.5  (d2 found in top-3, d4 not)
print(mrr({"d2", "d4"}, ranked))                     # 0.5  (first relevant at rank 2)
print(round(ndcg_at_k({"d2": 3, "d4": 1}, ranked, 5), 3))
Metricبيجاوب علىاستخدمه لما
Recall@kهل المستند الصح موجود في أول k اللي هيتبعتوا للموديل؟RAG: لو مش في الـ context، الموديل مش هيعرف
MRRأول نتيجة صح جت في الترتيب كام؟إجابة واحدة صح (FAQ، بحث بالاسم)
nDCG@kجودة الترتيب مع درجات relevanceنتايج متدرجة الأهمية (بحث منتجات، recommendations)
12

تقييم التوقعات (time series) والـ recommendations

Evaluating forecasts and recommenders
Deep dive
  • MAE سهل الشرح بوحدة البيزنس («بنغلط في المتوسط 12 وحدة»). MAPE بينفجر لما القيم الحقيقية قريبة من صفر؛ sMAPE أو WAPE (مجموع الأخطاء ÷ مجموع القيم) أثبت.
  • Backtesting بنوافذ زمنية (rolling origin) بدل random split: الموديل ما يشوفش المستقبل أبدًا.
  • Baseline إجباري: seasonal naive (نفس اليوم الأسبوع اللي فات). موديل معقد مش بيغلب الـ baseline = مش مفيد.
  • Recommenders: offline precision@k/recall@k/nDCG على interactions مستقبلية (split زمني)، بالإضافة لـ coverage (نسبة الكتالوج اللي بيتقترح) و novelty، وفي الآخر A/B على metric بيزنس (CTR، شراء).

التطبيق العملي في درسي Recommender Systems وTime Series Forecasting.

13

اختبر فهمك

Knowledge Check
Practical
هل LLM-as-judge بديل كامل عن human evaluation؟
لا. هو noisy evaluator ويحتاج calibration وعينات بشرية خصوصًا في القرارات عالية التأثير.
هل نستخدم test set لاختيار threshold؟
لا. اختر threshold على validation ثم استخدم test لتقدير نهائي غير متحيز.

اختبار الإتقان المهني

ما الذي يضيفه bootstrap confidence interval إلى metric report؟
يوضح uncertainty في تقدير metric على finite sample بدل عرض point estimate وكأنه حقيقة مطلقة.
لماذا لا ينبغي أن يكون LLM judge هو release gate الوحيد؟
لأنه قد يتأثر بالـ position/verbosity/self-preference والـ rubric، ويحتاج calibration ومقارنة بعينات بشرية.
ما الذي يجب أن يحدث إذا فشل tenant-isolation invariant؟
يجب إيقاف release أو احتواء النظام؛ لا يجوز تعويض خرق أمني بمتوسط جودة أعلى.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس