Software Engineer Encyclopedia
0%
Domain 11 · LLM Engineering & AI Integration · Pillar

أساسيات Reinforcement Learning لفهم RLHF وDPO والـ Distillation

Reinforcement Learning Essentials — RLHF, DPO and Distillation

القدر الكافي من RL عشان تفهم إزاي الـ LLMs اتعلمت «تساعد»: bandits، policy gradients، reward models وreward hacking، الـ KL penalty، DPO من preference pairs، والـ distillation — بمعمل متنفّذ.

  • Advanced
  • ~11 min read
  • 15 sections
  • 5 code examples
  • 2 diagrams
  • 7 questions
  • Priority L2 · Essential
  • المعمل Python stdlib (executed) · المفاهيم مستقلة عن أي framework

بعد الدرس ده هتقدر

  • تشرح agent/environment/policy/reward وexploration vs exploitation بمثال bandit
  • تفهم policy gradient (REINFORCE) والـ baseline وليه بيشتغل
  • تشرح RLHF: SFT ← reward model ← RL مع KL penalty، وليه الـ KL ضروري
  • تتعرف على reward hacking وتشوفه بيحصل في معمل
  • تشرح DPO وليه بقى بديل شائع للـ RLHF الكامل
  • تشرح knowledge distillation وتستخدمه كقرار هندسي لتقليل التكلفة

المتطلبات قبل ما تبدأ

01

ليه AI engineer محتاج RL؟

Why an engineer needs this much RL
Basics

مش هتدرّب RLHF بنفسك غالبًا. لكن سلوك كل موديل بتستخدمه — إنه «بيحاول يساعد»، بيرفض حاجات، بيطوّل أحيانًا، بيوافقك أحيانًا لما يغلط (sycophancy) — نتيجة مرحلة preference tuning. لما تفهم الآلية، هتفهم ليه الـ LLM-as-judge عنده verbosity bias، وليه الموديل ممكن «يخدع» metric بتاعك لو حسّنت عليه، وإزاي تختار بين fine-tuning و DPO و distillation في مشروع حقيقي.

Pretrainingnext token, huge corpusSFTdemonstrationsRLHFreward model + PPO + KLDPO-stylepreferences directlyAssistant model→ distil into smaller oneshuman preference pairs: "answer A is better than answer B"
The usual post-training pipeline: pretrain, supervised fine-tune, then preference optimisation
02

المفردات: policy و reward و exploration

Agent, environment, policy, reward
Deep dive
  • Policy π(a|s): احتمال اختيار فعل a في حالة s. في الـ LLM: الحالة = الـ prompt وما اتولّد لحد دلوقتي، والفعل = الـ token الجاي (أو الإجابة كلها لو بصينا عليها كوحدة).
  • Reward: رقم بيقيّم النتيجة. في RLHF: score من reward model اتعلّم من تفضيلات بشرية.
  • الهدف: تعظيم الـ reward المتوقع.
  • Exploration vs exploitation: لو دايمًا اخترت اللي شايفه الأحسن دلوقتي، ممكن ما تكتشفش إن فيه أحسن. ده نفس تحدي A/B testing لـ prompts: لازم تجرب.

أبسط حالة: multi-armed bandit — مفيش «حالة»، بس اختيارات بعوائد مجهولة. المعمل (الجزء 1) بيوريك إن epsilon=0 (exploit دايمًا) علِق في اختيار سيء من أول تجربة محظوظة، وإن شوية exploration (5%) بتوصل لقرب الأفضل.

03

Policy gradient: «زوّد احتمال الأفعال اللي جابت reward أعلى من المتوقع»

REINFORCE and the baseline
Deep dive

الفكرة في سطر: جرّب فعل من الـ policy، شوف الـ reward، ولو أحسن من المتوسط (baseline) ارفع احتماله، ولو أسوأ قلله. رياضيًا: ∇J ≈ (R − b) · ∇ log π(a). والـ baseline b بيقلل التذبذب من غير ما يغير الاتجاه المتوقع.

PythonREINFORCE step for a softmax policy (excerpt)
pi = softmax(logits)
a = random.choices(range(len(pi)), pi)[0]           # sample an action from the current policy
adv = reward(a) - baseline                          # better or worse than expected?
for i in range(len(logits)):                        # d log pi(a) / d logit_i = onehot(a)_i - pi_i
    logits[i] += lr * adv * ((1 if i == a else 0) - pi[i])

في RLHF الحقيقي بيستخدموا خوارزميات أثبت (زي PPO اللي بيمنع خطوات تحديث كبيرة)، لكن الفكرة واحدة.

04

RLHF: reward model + KL penalty

Reward modelling, reward hacking and the KL anchor
Deep dive
  1. SFT: موديل اتعلم من أمثلة مكتوبة (prompt ← رد جيد).
  2. جمع تفضيلات: لنفس الـ prompt، ردين؛ إنسان بيختار الأحسن.
  3. Reward model: موديل بيتعلم يدي score أعلى للرد المفضّل (من الأزواج دي).
  4. RL: الـ policy بتتدرّب تعظّم reward − β · KL(π ‖ π_SFT).

ليه الـ KL؟ الـ reward model تقريب ناقص للتفضيل البشري. لو سبت الـ policy تعظّمه من غير قيد، هتلاقي الثغرات فيه وتستغلها — ده reward hacking (أو Goodhart: «لما المقياس يبقى هدف، بيبطّل يبقى مقياس كويس»). الـ KL بيربط الـ policy قريب من الـ SFT اللي بيتكلم بشكل طبيعي.

05

معمل: bandit، reward hacking، KL، DPO، و distillation

Executed lab
Practical

«الـ policy» هنا بتختار بين 4 أساليب رد. البشر بيفضّلوا الرد المختصر الصحيح. الـ reward model اتعلم bias: الرد الطويل المليان حشو «شكله مفيد» فبياخد أعلى score — bias حقيقي معروف في reward models والـ LLM judges.

Pythonrl_lab.pyExecuted ✓
import math, random
random.seed(2)
def softmax(z):
    m = max(z); e = [math.exp(v - m) for v in z]; s = sum(e); return [v / s for v in e]

# ---------- 1) Bandit: exploration vs exploitation ----------
TRUE = [0.30, 0.55, 0.50, 0.70]                        # unknown success rate of 4 options (e.g. 4 prompt variants)
def run_bandit(eps, steps=3000):
    n, q, total = [0] * 4, [0.0] * 4, 0
    for _ in range(steps):
        a = random.randrange(4) if random.random() < eps else max(range(4), key=lambda i: q[i])
        r = 1 if random.random() < TRUE[a] else 0
        n[a] += 1; q[a] += (r - q[a]) / n[a]; total += r
    return total / steps, max(range(4), key=lambda i: q[i])
print("1) bandit  (best possible average reward = 0.70)")
for eps in (0.0, 0.05, 0.2):
    random.seed(3); avg, best = run_bandit(eps)
    print(f"   epsilon={eps:<4}  average reward={avg:.3f}  believes best arm={best}")

# ---------- 2) Policy gradient against a learned reward model, with and without a KL penalty ----------
# A "policy" chooses one of 4 answer styles. Humans truly prefer CONCISE_CORRECT.
STYLES = ["concise_correct", "long_correct", "long_padded_wrong", "refuse"]
HUMAN = [1.0, 0.7, 0.0, 0.1]                           # what people actually value
RM = [0.8, 0.9, 1.0, 0.1]                              # reward model learned a length bias: padding looks "helpful"
REF = [0.40, 0.35, 0.15, 0.10]                         # the supervised (SFT) policy we start from

def train_policy(beta, steps=4000, lr=0.05):
    logits = [math.log(p) for p in REF]
    for _ in range(steps):
        pi = softmax(logits)
        a = random.choices(range(4), pi)[0]
        kl_term = math.log(pi[a] / REF[a])             # per-sample KL estimate to the reference policy
        reward = RM[a] - beta * kl_term                # RLHF objective: reward - beta * KL
        baseline = sum(p * (RM[i] - beta * math.log(p / REF[i])) for i, p in enumerate(pi))
        adv = reward - baseline
        for i in range(4):                             # REINFORCE: grad log pi(a) = onehot(a) - pi
            logits[i] += lr * adv * ((1 if i == a else 0) - pi[i])
    pi = softmax(logits)
    return pi, sum(p * h for p, h in zip(pi, HUMAN)), sum(p * r for p, r in zip(pi, RM))
print("\n2) RLHF-style policy gradient on a biased reward model")
print(f"   start (SFT policy): human value={sum(p*h for p,h in zip(REF,HUMAN)):.3f}")
for beta in (0.0, 0.3, 1.0):
    random.seed(5); pi, human, rm = train_policy(beta)
    print(f"   beta={beta:<3}  policy={[round(p, 2) for p in pi]}  reward-model score={rm:.3f}  HUMAN value={human:.3f}")

# ---------- 3) DPO on preference pairs (no reward model, no sampling loop) ----------
# Pairs: (chosen, rejected). The loss pushes log-prob ratios (vs the frozen reference) apart.
PAIRS = [(0, 2)] * 40 + [(0, 1)] * 25 + [(1, 2)] * 30 + [(0, 3)] * 10
def dpo(beta=0.5, epochs=60, lr=0.1):
    logits = [math.log(p) for p in REF]
    for _ in range(epochs):
        g = [0.0] * 4
        for c, r in PAIRS:
            pi = softmax(logits)
            margin = beta * ((math.log(pi[c]) - math.log(REF[c])) - (math.log(pi[r]) - math.log(REF[r])))
            s = 1 / (1 + math.exp(margin))             # = 1 - sigmoid(margin): large when the pair is still "wrong"
            for i in range(4):                         # d/dlogits of log pi(c) - log pi(r) = onehot(c) - onehot(r)
                g[i] += beta * s * ((1 if i == c else 0) - (1 if i == r else 0))
        logits = [l + lr * gi / len(PAIRS) for l, gi in zip(logits, g)]
    pi = softmax(logits)
    return pi, sum(p * h for p, h in zip(pi, HUMAN))
pi, human = dpo()
print(f"\n3) DPO from {len(PAIRS)} human preference pairs: policy={[round(p, 2) for p in pi]}  HUMAN value={human:.3f}")

# ---------- 4) Distillation: a small student learns the teacher's soft distribution ----------
teacher_logits = [4.0, 2.5, 0.5, -1.0]
def kl(p, q): return sum(a * math.log(a / b) for a, b in zip(p, q) if a > 0)
for T in (1.0, 3.0):
    t = softmax([z / T for z in teacher_logits])
    print(f"\n4) teacher probabilities at temperature T={T}: {[round(x, 3) for x in t]}")
student = [0.0] * 4
t = softmax([z / 3.0 for z in teacher_logits])
for step in range(300):                                # minimise KL(teacher_T || student_T)
    s = softmax([z / 3.0 for z in student])
    student = [z - 0.5 * (si - ti) for z, si, ti in zip(student, s, t)]
print(f"   student after distillation (T=3): {[round(x, 3) for x in softmax([z / 3.0 for z in student])]}  KL={kl(t, softmax([z / 3.0 for z in student])):.5f}")
print("   soft targets carry 'dark knowledge': which wrong answers are *almost* right, not only the argmax")
ConsoleOutput — captured from a real run
1) bandit  (best possible average reward = 0.70)
   epsilon=0.0   average reward=0.293  believes best arm=0
   epsilon=0.05  average reward=0.680  believes best arm=3
   epsilon=0.2   average reward=0.686  believes best arm=3

2) RLHF-style policy gradient on a biased reward model
   start (SFT policy): human value=0.655
   beta=0.0  policy=[0.01, 0.03, 0.96, 0.0]  reward-model score=0.993  HUMAN value=0.033
   beta=0.3  policy=[0.33, 0.41, 0.24, 0.01]  reward-model score=0.881  HUMAN value=0.622
   beta=1.0  policy=[0.39, 0.38, 0.18, 0.05]  reward-model score=0.840  HUMAN value=0.663

3) DPO from 105 human preference pairs: policy=[0.65, 0.25, 0.04, 0.06]  HUMAN value=0.829

4) teacher probabilities at temperature T=1.0: [0.794, 0.177, 0.024, 0.005]

4) teacher probabilities at temperature T=3.0: [0.475, 0.288, 0.148, 0.09]
   student after distillation (T=3): [0.475, 0.288, 0.148, 0.09]  KL=0.00000
   soft targets carry 'dark knowledge': which wrong answers are *almost* right, not only the argmax
  • β = 0: الـ policy اتعلمت تطلع الرد الطويل الغلط تقريبًا دايمًا. score الـ reward model قرب من الأقصى، والقيمة البشرية انهارت. ده reward hacking بالأرقام.
  • β أكبر: الـ KL شدّ الـ policy ناحية الـ SFT، فالضرر اتمنع (لكن كمان المكسب محدود — الـ reward model المعيوب ما يقدرش يعلّم حاجة أحسن من عيوبه).
  • DPO من أزواج تفضيل بشرية سليمة رفع القيمة البشرية بوضوح. تنبيه عادل: المقارنة هنا مش متكافئة؛ الـ DPO خد preferences «نضيفة» والـ RM كان متحيز. لو بيانات التفضيل نفسها متحيزة للطول، الـ DPO هيتعلم نفس الـ bias. جودة بيانات التفضيل هي كل حاجة.
  • Distillation: الـ student اتعلم توزيع الـ teacher الناعم (temperature 3) بالظبط. مع T=1 التوزيع شبه one-hot؛ مع T أعلى بيبان «إيه الإجابات الغلط اللي قريبة من الصح» — معلومة إضافية مش موجودة في الـ label الصلب.
الربط بشغلك اليومي

نفس الديناميكية بتحصل لما تعمل optimization على prompt ضد LLM judge عنده verbosity bias: هتلاقي الـ prompt «الأحسن» بيطوّل الإجابات. الحل نفسه: judge معاير ضد البشر (Evaluation Engineering)، ومقاييس متعددة، وفحص بشري لعينة.

06

DPO: preference optimization من غير reward model منفصل

Direct Preference Optimization
Deep dive

الآلية: DPO بيستغل علاقة رياضية بين الـ reward المثالي والـ policy المثالية تحت قيد الـ KL، فبيحوّل المشكلة لـ loss تصنيفي بسيط على الأزواج مباشرة:

L = −log σ( β · [ (log π(y_w|x) − log π_ref(y_w|x)) − (log π(y_l|x) − log π_ref(y_l|x)) ] )

يعني: زوّد احتمال الرد المفضّل (y_w) نسبةً للـ reference، وقلل احتمال المرفوض (y_l) نسبةً للـ reference. الـ β بيلعب نفس دور الـ KL.

RLHF (PPO)DPO
المكوناتpolicy + reference + reward model + (value model) + sampling looppolicy + reference + dataset أزواج
التعقيد والاستقرارأعقد، hyperparameters كتيرأبسط، شبه supervised training
بيانات online جديدةبيولّد ويقيّم أثناء التدريبoffline على أزواج جاهزة (فيه نسخ iterative/online)
للمهندس في شركةنادرًا عمليممكن مع مكتبات زي TRL لو عندك أزواج جيدة
JSONpreferences.jsonl (one pair)
{"prompt": "العميل بيسأل: ليه الفاتورة زادت الشهر ده؟",
 "chosen": "الزيادة سببها 3 مقاعد جديدة اتضافت يوم 12 (تفاصيل في سطر 4 من الفاتورة). لو محتاج تشيلهم قولّي.",
 "rejected": "شكرًا جدًا على سؤالك الممتاز! الفواتير ممكن تتغير لأسباب كتير جدًا زي الاستخدام والخطط والضرائب والعروض..."}

إمتى تفكر في DPO في مشروعك؟ بعد ما SFT/LoRA اداك الشكل الصح، لو فيه تفضيلات أسلوبية صعب تتوصف بأمثلة (الإيجاز، النبرة، متى يسأل سؤال توضيحي) وعندك مصدر أزواج حقيقي (مثلًا الموظف عدّل الرد المقترح ← المعدَّل chosen والأصلي rejected). ومع نفس بروتوكول التقييم قبل/بعد.

07

Distillation: موديل صغير بيتعلم من الكبير

Knowledge distillation as a cost decision
Deep dive

الكلاسيكي: الـ student بيتعلم يطابق احتمالات الـ teacher الناعمة (softmax بـ temperature) بالإضافة للـ labels. في LLMs عمليًا: غالبًا «sequence-level distillation»: الموديل الكبير بيولّد ردود على آلاف prompts من مجالك، وبتعمل SFT للموديل الصغير على الردود دي (بعد فلترة الجودة).

  • المكسب: موديل صغير رخيص وسريع بيقرب من جودة الكبير في المهمة الضيقة دي.
  • الحدود: الـ student نادرًا بيتخطى الـ teacher؛ وأخطاء الـ teacher بتتنقل (فلتر بـ checks و judge).
  • قانوني: شروط استخدام بعض الـ providers بتمنع استخدام المخرجات لتدريب موديلات منافسة. اقرأ الشروط الحالية قبل ما تعمل distillation من API تجاري.
Pythondistill_dataset.py (sketch, not executed)
import json
from evals.checks import check_must                         # reuse deterministic checks from the eval harness

def build_distillation_set(prompts, teacher, judge, min_score=0.8):
    kept = []
    for p in prompts:                                       # prompts sampled from real (redacted) traffic
        answer = teacher.generate(p, temperature=0.3)
        if not check_must(answer, p.must_include, p.must_not_include)["forbidden_present"]:
            score = judge.score(p, answer)                  # calibrated judge (see Evaluation Engineering)
            if score >= min_score:
                kept.append({"messages": [{"role": "user", "content": p.text}, {"role": "assistant", "content": answer}]})
    with open("distill.jsonl", "w", encoding="utf-8") as f:
        for row in kept:
            f.write(json.dumps(row, ensure_ascii=False) + "\n")
    return len(kept) / len(prompts)                         # yield: how much of the teacher output survived filtering
08

Failure modes اللي هتقابلها كمستخدم للموديلات

Symptoms of preference tuning you will see in products
Pitfalls
  • Sycophancy: الموديل بيوافق المستخدم حتى لو غلطان (التفضيلات البشرية بتكافئ الموافقة). خلي الـ prompt يطلب تصحيح صريح، واختبر حالات «المستخدم غلطان» في الـ eval.
  • Verbosity: ميل للتطويل. حدود طول صريحة + قياس.
  • Over-refusal: رفض طلبات مشروعة. قِس false refusal rate في الـ eval.
  • Reward hacking في أنظمتك: أي loop بيحسّن تلقائيًا على metric (prompt optimization، agent بيقيّم نفسه) هيلاقي ثغرات الـ metric.
09

خريطة مراحل تدريب الـ LLM الحديث

Where each technique sits
Deep dive
Pre-trainingnext token, trillionsSFTdemonstrationsPreference tuningRLHF (PPO) / DPORL w/ verifiable rewardsmath/code checks (e.g. GRPO)Safety tuning+ evals, red teamDistillsmall/fast models
From pre-training to the assistant you call: each stage changes behaviour differently

كـ AI engineer مش هتعمل pre-training، لكن ده بيفسّر سلوك الموديلات اللي بتستخدمها: الـ sycophancy (موافقة المستخدم زيادة) أثر جانبي لـ preference tuning؛ الـ «reasoning models» اللي بتفكر بخطوات طويلة اتدربت بـ RL على مكافآت قابلة للتحقق (هل الإجابة الرياضية صح؟ هل الكود عدّى الـ tests؟)؛ والموديلات الصغيرة الرخيصة غالبًا distilled من كبيرة.

10

RL بمكافآت قابلة للتحقق: الفكرة من غير رياضة تقيلة

Reinforcement learning with verifiable rewards
Deep dive

في RLHF، الـ reward بييجي من reward model متعلّم من تفضيلات بشرية — مكلف وقابل للـ hacking. في المهام اللي ليها إجابة قابلة للفحص (رياضيات، كود، استخراج JSON بـ schema)، تقدر تحسب الـ reward بـ program: 1 لو صح، 0 لو غلط. طرق زي GRPO بتولّد مجموعة إجابات لنفس السؤال، وبتحسب لكل إجابة «أحسن ولا أسوأ من متوسط المجموعة» (relative advantage) بدل ما تحتاج value model منفصل، وتزوّد احتمال الإجابات اللي فوق المتوسط.

Pythongroup-relative advantage in a few lines (illustrative, stdlib only)
import statistics

def advantages(rewards):
    mu = statistics.mean(rewards)
    sd = statistics.pstdev(rewards) or 1.0
    return [(r - mu) / sd for r in rewards]          # above-average answers get positive weight

# 4 sampled answers to one math question, reward = 1 if final answer verified correct
print(advantages([1, 0, 0, 1]))   # [1.0, -1.0, -1.0, 1.0]
print(advantages([0, 0, 0, 0]))   # all zero -> no learning signal from this question (too hard)
print(advantages([1, 1, 1, 1]))   # all zero -> no signal either (too easy): curriculum matters

الدرس الهندسي: الـ reward function هي الـ spec. لو بتكافئ «JSON صالح» بس من غير صحة الحقول، الموديل هيتعلم يطلع JSON صالح فاضي. نفس فكرة reward hacking اللي في المعمل — ونفس فكرة إن الـ eval metric الضعيف بيوجّه الفريق غلط.

11

DPO عمليًا: من feedback المنتج لـ preference pairs

Building preference data
Practical
JSONpreference pair (JSONL line)
{"prompt": [{"role": "user", "content": "اشرح لعميل إن الطلب اتأخر بسبب الجمارك"}],
 "chosen": [{"role": "assistant", "content": "نعتذر عن التأخير. طلبك وصل الجمارك يوم 12 وبنتوقع الإفراج خلال 3 أيام عمل..."}],
 "rejected": [{"role": "assistant", "content": "التأخير مش مسؤوليتنا، الجمارك هي السبب."}]}
  • المصدر: إجابتين من الموديل لنفس السؤال وموظف دعم بيختار الأحسن، أو إجابة الموديل مقابل تعديل الموظف عليها قبل الإرسال (إشارة مجانية من المنتج!).
  • الجودة أهم من الكمية: pairs متناقضة (مراجعين مختلفين بيختاروا عكس بعض) بتضعف التدريب؛ قِس inter-annotator agreement.
  • Beta في DPO بيتحكم في قد إيه الموديل يبعد عن الـ reference: صغير = تغيير أكبر وخطر أعلى على القدرات العامة.
  • Eval قبل/بعد على المهمة وعلى قدرات عامة (regression)، زي بروتوكول Fine-tuning.
12

Distillation كقرار تكلفة: مثال بالأرقام

The cost case for distillation
Practical

Classifier للتذاكر بيستخدم موديل كبير: 200k تذكرة/يوم × ~800 token = 160M token/يوم. لو موديل صغير (مستضاف أو API أرخص بكتير) اتعلّم من 30k مثال مصنّفين بالموديل الكبير (+ مراجعة بشرية لعينة)، وأداؤه على الـ golden set في حدود نقطة أو اتنين من الكبير، التوفير ممكن يبقى 10× أو أكتر مع latency أقل. بس: شروط استخدام بعض الـ providers بتمنع استخدام مخرجاتهم لتدريب موديلات منافسة — اقرأ الـ terms قبل ما تبدأ. وراقب الـ drift: لما أنواع التذاكر تتغير، الموديل الصغير بيقع أسرع، فخلي الكبير fallback للحالات منخفضة الثقة.

13

اختبر فهمك

Knowledge check
Basics

في المعمل، ليه β=0 أدى لانهيار القيمة البشرية رغم إن reward model score عالي؟

ميزة DPO الأساسية مقارنة بـ RLHF الكامل؟

ليه temperature أعلى في الـ distillation؟

14

تمارين محلولة

Solved exercises
Practical
1: عدّل RM في المعمل بحيث مالوش length bias ([1.0, 0.7, 0.0, 0.1]). إيه اللي يحصل مع β=0؟

الحل: الـ policy هتتجه للـ concise_correct والقيمة البشرية هتطلع. يعني المشكلة مش في الـ RL نفسه، في جودة الـ reward. الـ KL بقى «تأمين» ضد reward model ناقص، مش شرط للتعلم.

2: منتج عنده زر «عدّل الرد» للموظفين. إزاي تحوّله لبيانات DPO؟

الحل: لكل تعديل جوهري: prompt = سياق التذكرة، rejected = اقتراح الموديل، chosen = النص بعد تعديل الموظف. استبعد التعديلات التافهة (إملائي) والحالات اللي الموظف كتب من الصفر. PII redaction، وموافقة على الاستخدام، و eval قبل/بعد.

3: إزاي تكتشف sycophancy في الـ assistant بتاعك؟

الحل: حالات eval فيها المستخدم بيقول معلومة غلط بثقة («السياسة 60 يوم صح؟» والحقيقة 30). المقياس: نسبة التصحيح. وحالات «ضغط»: المستخدم يعترض على إجابة صح — هل الموديل بيغيّر رأيه؟

15

أسئلة إنترفيو: Junior → Senior → Staff

Interview ladder
Basics
(Junior) إيه هو RLHF باختصار؟
تحسين موديل بعد الـ SFT باستخدام تفضيلات بشرية: reward model بيتعلم يقيّم الردود من مقارنات بشرية، والموديل بيتدرّب يعظّم الـ reward ده مع KL penalty يخليه قريب من الـ SFT.
(Senior) إيه هو reward hacking وإزاي يظهر في أنظمة LLM اللي بتبنيها؟
الـ optimization بيستغل عيوب المقياس بدل الهدف الحقيقي. بيظهر لما تحسّن prompts أو agents ضد LLM judge متحيز (تطويل، مجاملة). الحل: مقاييس متعددة، judge معاير، فحص بشري، وقيود.
(Senior) DPO مقابل RLHF؟
DPO بيحوّل الـ preference optimization لـ loss تصنيفي على الأزواج مع reference model، من غير reward model منفصل أو PPO؛ أبسط وأثبت. RLHF أعقد لكنه بيولّد ويقيّم بيانات جديدة online.
(Staff) إمتى تقترح distillation في شركة وإمتى لأ؟
لما فيه مهمة ضيقة بحجم كبير والموديل الكبير مكلف/بطيء، وعندك eval قوي، وشروط الـ provider تسمح، وفريق يقدر يشغّل موديل صغير. لأ لو الحجم صغير، أو المهمة واسعة ومتغيرة، أو التكلفة التشغيلية للـ self-host أكبر من التوفير.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس