ليه AI engineer محتاج RL؟
مش هتدرّب RLHF بنفسك غالبًا. لكن سلوك كل موديل بتستخدمه — إنه «بيحاول يساعد»، بيرفض حاجات، بيطوّل أحيانًا، بيوافقك أحيانًا لما يغلط (sycophancy) — نتيجة مرحلة preference tuning. لما تفهم الآلية، هتفهم ليه الـ LLM-as-judge عنده verbosity bias، وليه الموديل ممكن «يخدع» metric بتاعك لو حسّنت عليه، وإزاي تختار بين fine-tuning و DPO و distillation في مشروع حقيقي.
المفردات: policy و reward و exploration
- Policy π(a|s): احتمال اختيار فعل a في حالة s. في الـ LLM: الحالة = الـ prompt وما اتولّد لحد دلوقتي، والفعل = الـ token الجاي (أو الإجابة كلها لو بصينا عليها كوحدة).
- Reward: رقم بيقيّم النتيجة. في RLHF: score من reward model اتعلّم من تفضيلات بشرية.
- الهدف: تعظيم الـ reward المتوقع.
- Exploration vs exploitation: لو دايمًا اخترت اللي شايفه الأحسن دلوقتي، ممكن ما تكتشفش إن فيه أحسن. ده نفس تحدي A/B testing لـ prompts: لازم تجرب.
أبسط حالة: multi-armed bandit — مفيش «حالة»، بس اختيارات بعوائد مجهولة. المعمل (الجزء 1) بيوريك إن epsilon=0 (exploit دايمًا) علِق في اختيار سيء من أول تجربة محظوظة، وإن شوية exploration (5%) بتوصل لقرب الأفضل.
Policy gradient: «زوّد احتمال الأفعال اللي جابت reward أعلى من المتوقع»
الفكرة في سطر: جرّب فعل من الـ policy، شوف الـ reward، ولو أحسن من المتوسط (baseline) ارفع احتماله، ولو أسوأ قلله. رياضيًا: ∇J ≈ (R − b) · ∇ log π(a). والـ baseline b بيقلل التذبذب من غير ما يغير الاتجاه المتوقع.
pi = softmax(logits)
a = random.choices(range(len(pi)), pi)[0] # sample an action from the current policy
adv = reward(a) - baseline # better or worse than expected?
for i in range(len(logits)): # d log pi(a) / d logit_i = onehot(a)_i - pi_i
logits[i] += lr * adv * ((1 if i == a else 0) - pi[i])في RLHF الحقيقي بيستخدموا خوارزميات أثبت (زي PPO اللي بيمنع خطوات تحديث كبيرة)، لكن الفكرة واحدة.
RLHF: reward model + KL penalty
- SFT: موديل اتعلم من أمثلة مكتوبة (prompt ← رد جيد).
- جمع تفضيلات: لنفس الـ prompt، ردين؛ إنسان بيختار الأحسن.
- Reward model: موديل بيتعلم يدي score أعلى للرد المفضّل (من الأزواج دي).
- RL: الـ policy بتتدرّب تعظّم
reward − β · KL(π ‖ π_SFT).
ليه الـ KL؟ الـ reward model تقريب ناقص للتفضيل البشري. لو سبت الـ policy تعظّمه من غير قيد، هتلاقي الثغرات فيه وتستغلها — ده reward hacking (أو Goodhart: «لما المقياس يبقى هدف، بيبطّل يبقى مقياس كويس»). الـ KL بيربط الـ policy قريب من الـ SFT اللي بيتكلم بشكل طبيعي.
معمل: bandit، reward hacking، KL، DPO، و distillation
«الـ policy» هنا بتختار بين 4 أساليب رد. البشر بيفضّلوا الرد المختصر الصحيح. الـ reward model اتعلم bias: الرد الطويل المليان حشو «شكله مفيد» فبياخد أعلى score — bias حقيقي معروف في reward models والـ LLM judges.
import math, random
random.seed(2)
def softmax(z):
m = max(z); e = [math.exp(v - m) for v in z]; s = sum(e); return [v / s for v in e]
# ---------- 1) Bandit: exploration vs exploitation ----------
TRUE = [0.30, 0.55, 0.50, 0.70] # unknown success rate of 4 options (e.g. 4 prompt variants)
def run_bandit(eps, steps=3000):
n, q, total = [0] * 4, [0.0] * 4, 0
for _ in range(steps):
a = random.randrange(4) if random.random() < eps else max(range(4), key=lambda i: q[i])
r = 1 if random.random() < TRUE[a] else 0
n[a] += 1; q[a] += (r - q[a]) / n[a]; total += r
return total / steps, max(range(4), key=lambda i: q[i])
print("1) bandit (best possible average reward = 0.70)")
for eps in (0.0, 0.05, 0.2):
random.seed(3); avg, best = run_bandit(eps)
print(f" epsilon={eps:<4} average reward={avg:.3f} believes best arm={best}")
# ---------- 2) Policy gradient against a learned reward model, with and without a KL penalty ----------
# A "policy" chooses one of 4 answer styles. Humans truly prefer CONCISE_CORRECT.
STYLES = ["concise_correct", "long_correct", "long_padded_wrong", "refuse"]
HUMAN = [1.0, 0.7, 0.0, 0.1] # what people actually value
RM = [0.8, 0.9, 1.0, 0.1] # reward model learned a length bias: padding looks "helpful"
REF = [0.40, 0.35, 0.15, 0.10] # the supervised (SFT) policy we start from
def train_policy(beta, steps=4000, lr=0.05):
logits = [math.log(p) for p in REF]
for _ in range(steps):
pi = softmax(logits)
a = random.choices(range(4), pi)[0]
kl_term = math.log(pi[a] / REF[a]) # per-sample KL estimate to the reference policy
reward = RM[a] - beta * kl_term # RLHF objective: reward - beta * KL
baseline = sum(p * (RM[i] - beta * math.log(p / REF[i])) for i, p in enumerate(pi))
adv = reward - baseline
for i in range(4): # REINFORCE: grad log pi(a) = onehot(a) - pi
logits[i] += lr * adv * ((1 if i == a else 0) - pi[i])
pi = softmax(logits)
return pi, sum(p * h for p, h in zip(pi, HUMAN)), sum(p * r for p, r in zip(pi, RM))
print("\n2) RLHF-style policy gradient on a biased reward model")
print(f" start (SFT policy): human value={sum(p*h for p,h in zip(REF,HUMAN)):.3f}")
for beta in (0.0, 0.3, 1.0):
random.seed(5); pi, human, rm = train_policy(beta)
print(f" beta={beta:<3} policy={[round(p, 2) for p in pi]} reward-model score={rm:.3f} HUMAN value={human:.3f}")
# ---------- 3) DPO on preference pairs (no reward model, no sampling loop) ----------
# Pairs: (chosen, rejected). The loss pushes log-prob ratios (vs the frozen reference) apart.
PAIRS = [(0, 2)] * 40 + [(0, 1)] * 25 + [(1, 2)] * 30 + [(0, 3)] * 10
def dpo(beta=0.5, epochs=60, lr=0.1):
logits = [math.log(p) for p in REF]
for _ in range(epochs):
g = [0.0] * 4
for c, r in PAIRS:
pi = softmax(logits)
margin = beta * ((math.log(pi[c]) - math.log(REF[c])) - (math.log(pi[r]) - math.log(REF[r])))
s = 1 / (1 + math.exp(margin)) # = 1 - sigmoid(margin): large when the pair is still "wrong"
for i in range(4): # d/dlogits of log pi(c) - log pi(r) = onehot(c) - onehot(r)
g[i] += beta * s * ((1 if i == c else 0) - (1 if i == r else 0))
logits = [l + lr * gi / len(PAIRS) for l, gi in zip(logits, g)]
pi = softmax(logits)
return pi, sum(p * h for p, h in zip(pi, HUMAN))
pi, human = dpo()
print(f"\n3) DPO from {len(PAIRS)} human preference pairs: policy={[round(p, 2) for p in pi]} HUMAN value={human:.3f}")
# ---------- 4) Distillation: a small student learns the teacher's soft distribution ----------
teacher_logits = [4.0, 2.5, 0.5, -1.0]
def kl(p, q): return sum(a * math.log(a / b) for a, b in zip(p, q) if a > 0)
for T in (1.0, 3.0):
t = softmax([z / T for z in teacher_logits])
print(f"\n4) teacher probabilities at temperature T={T}: {[round(x, 3) for x in t]}")
student = [0.0] * 4
t = softmax([z / 3.0 for z in teacher_logits])
for step in range(300): # minimise KL(teacher_T || student_T)
s = softmax([z / 3.0 for z in student])
student = [z - 0.5 * (si - ti) for z, si, ti in zip(student, s, t)]
print(f" student after distillation (T=3): {[round(x, 3) for x in softmax([z / 3.0 for z in student])]} KL={kl(t, softmax([z / 3.0 for z in student])):.5f}")
print(" soft targets carry 'dark knowledge': which wrong answers are *almost* right, not only the argmax")1) bandit (best possible average reward = 0.70)
epsilon=0.0 average reward=0.293 believes best arm=0
epsilon=0.05 average reward=0.680 believes best arm=3
epsilon=0.2 average reward=0.686 believes best arm=3
2) RLHF-style policy gradient on a biased reward model
start (SFT policy): human value=0.655
beta=0.0 policy=[0.01, 0.03, 0.96, 0.0] reward-model score=0.993 HUMAN value=0.033
beta=0.3 policy=[0.33, 0.41, 0.24, 0.01] reward-model score=0.881 HUMAN value=0.622
beta=1.0 policy=[0.39, 0.38, 0.18, 0.05] reward-model score=0.840 HUMAN value=0.663
3) DPO from 105 human preference pairs: policy=[0.65, 0.25, 0.04, 0.06] HUMAN value=0.829
4) teacher probabilities at temperature T=1.0: [0.794, 0.177, 0.024, 0.005]
4) teacher probabilities at temperature T=3.0: [0.475, 0.288, 0.148, 0.09]
student after distillation (T=3): [0.475, 0.288, 0.148, 0.09] KL=0.00000
soft targets carry 'dark knowledge': which wrong answers are *almost* right, not only the argmax- β = 0: الـ policy اتعلمت تطلع الرد الطويل الغلط تقريبًا دايمًا. score الـ reward model قرب من الأقصى، والقيمة البشرية انهارت. ده reward hacking بالأرقام.
- β أكبر: الـ KL شدّ الـ policy ناحية الـ SFT، فالضرر اتمنع (لكن كمان المكسب محدود — الـ reward model المعيوب ما يقدرش يعلّم حاجة أحسن من عيوبه).
- DPO من أزواج تفضيل بشرية سليمة رفع القيمة البشرية بوضوح. تنبيه عادل: المقارنة هنا مش متكافئة؛ الـ DPO خد preferences «نضيفة» والـ RM كان متحيز. لو بيانات التفضيل نفسها متحيزة للطول، الـ DPO هيتعلم نفس الـ bias. جودة بيانات التفضيل هي كل حاجة.
- Distillation: الـ student اتعلم توزيع الـ teacher الناعم (temperature 3) بالظبط. مع T=1 التوزيع شبه one-hot؛ مع T أعلى بيبان «إيه الإجابات الغلط اللي قريبة من الصح» — معلومة إضافية مش موجودة في الـ label الصلب.
نفس الديناميكية بتحصل لما تعمل optimization على prompt ضد LLM judge عنده verbosity bias: هتلاقي الـ prompt «الأحسن» بيطوّل الإجابات. الحل نفسه: judge معاير ضد البشر (Evaluation Engineering)، ومقاييس متعددة، وفحص بشري لعينة.
DPO: preference optimization من غير reward model منفصل
الآلية: DPO بيستغل علاقة رياضية بين الـ reward المثالي والـ policy المثالية تحت قيد الـ KL، فبيحوّل المشكلة لـ loss تصنيفي بسيط على الأزواج مباشرة:
L = −log σ( β · [ (log π(y_w|x) − log π_ref(y_w|x)) − (log π(y_l|x) − log π_ref(y_l|x)) ] )
يعني: زوّد احتمال الرد المفضّل (y_w) نسبةً للـ reference، وقلل احتمال المرفوض (y_l) نسبةً للـ reference. الـ β بيلعب نفس دور الـ KL.
| RLHF (PPO) | DPO | |
|---|---|---|
| المكونات | policy + reference + reward model + (value model) + sampling loop | policy + reference + dataset أزواج |
| التعقيد والاستقرار | أعقد، hyperparameters كتير | أبسط، شبه supervised training |
| بيانات online جديدة | بيولّد ويقيّم أثناء التدريب | offline على أزواج جاهزة (فيه نسخ iterative/online) |
| للمهندس في شركة | نادرًا عملي | ممكن مع مكتبات زي TRL لو عندك أزواج جيدة |
{"prompt": "العميل بيسأل: ليه الفاتورة زادت الشهر ده؟",
"chosen": "الزيادة سببها 3 مقاعد جديدة اتضافت يوم 12 (تفاصيل في سطر 4 من الفاتورة). لو محتاج تشيلهم قولّي.",
"rejected": "شكرًا جدًا على سؤالك الممتاز! الفواتير ممكن تتغير لأسباب كتير جدًا زي الاستخدام والخطط والضرائب والعروض..."}إمتى تفكر في DPO في مشروعك؟ بعد ما SFT/LoRA اداك الشكل الصح، لو فيه تفضيلات أسلوبية صعب تتوصف بأمثلة (الإيجاز، النبرة، متى يسأل سؤال توضيحي) وعندك مصدر أزواج حقيقي (مثلًا الموظف عدّل الرد المقترح ← المعدَّل chosen والأصلي rejected). ومع نفس بروتوكول التقييم قبل/بعد.
Distillation: موديل صغير بيتعلم من الكبير
الكلاسيكي: الـ student بيتعلم يطابق احتمالات الـ teacher الناعمة (softmax بـ temperature) بالإضافة للـ labels. في LLMs عمليًا: غالبًا «sequence-level distillation»: الموديل الكبير بيولّد ردود على آلاف prompts من مجالك، وبتعمل SFT للموديل الصغير على الردود دي (بعد فلترة الجودة).
- المكسب: موديل صغير رخيص وسريع بيقرب من جودة الكبير في المهمة الضيقة دي.
- الحدود: الـ student نادرًا بيتخطى الـ teacher؛ وأخطاء الـ teacher بتتنقل (فلتر بـ checks و judge).
- قانوني: شروط استخدام بعض الـ providers بتمنع استخدام المخرجات لتدريب موديلات منافسة. اقرأ الشروط الحالية قبل ما تعمل distillation من API تجاري.
import json
from evals.checks import check_must # reuse deterministic checks from the eval harness
def build_distillation_set(prompts, teacher, judge, min_score=0.8):
kept = []
for p in prompts: # prompts sampled from real (redacted) traffic
answer = teacher.generate(p, temperature=0.3)
if not check_must(answer, p.must_include, p.must_not_include)["forbidden_present"]:
score = judge.score(p, answer) # calibrated judge (see Evaluation Engineering)
if score >= min_score:
kept.append({"messages": [{"role": "user", "content": p.text}, {"role": "assistant", "content": answer}]})
with open("distill.jsonl", "w", encoding="utf-8") as f:
for row in kept:
f.write(json.dumps(row, ensure_ascii=False) + "\n")
return len(kept) / len(prompts) # yield: how much of the teacher output survived filteringFailure modes اللي هتقابلها كمستخدم للموديلات
- Sycophancy: الموديل بيوافق المستخدم حتى لو غلطان (التفضيلات البشرية بتكافئ الموافقة). خلي الـ prompt يطلب تصحيح صريح، واختبر حالات «المستخدم غلطان» في الـ eval.
- Verbosity: ميل للتطويل. حدود طول صريحة + قياس.
- Over-refusal: رفض طلبات مشروعة. قِس false refusal rate في الـ eval.
- Reward hacking في أنظمتك: أي loop بيحسّن تلقائيًا على metric (prompt optimization، agent بيقيّم نفسه) هيلاقي ثغرات الـ metric.
خريطة مراحل تدريب الـ LLM الحديث
كـ AI engineer مش هتعمل pre-training، لكن ده بيفسّر سلوك الموديلات اللي بتستخدمها: الـ sycophancy (موافقة المستخدم زيادة) أثر جانبي لـ preference tuning؛ الـ «reasoning models» اللي بتفكر بخطوات طويلة اتدربت بـ RL على مكافآت قابلة للتحقق (هل الإجابة الرياضية صح؟ هل الكود عدّى الـ tests؟)؛ والموديلات الصغيرة الرخيصة غالبًا distilled من كبيرة.
RL بمكافآت قابلة للتحقق: الفكرة من غير رياضة تقيلة
في RLHF، الـ reward بييجي من reward model متعلّم من تفضيلات بشرية — مكلف وقابل للـ hacking. في المهام اللي ليها إجابة قابلة للفحص (رياضيات، كود، استخراج JSON بـ schema)، تقدر تحسب الـ reward بـ program: 1 لو صح، 0 لو غلط. طرق زي GRPO بتولّد مجموعة إجابات لنفس السؤال، وبتحسب لكل إجابة «أحسن ولا أسوأ من متوسط المجموعة» (relative advantage) بدل ما تحتاج value model منفصل، وتزوّد احتمال الإجابات اللي فوق المتوسط.
import statistics
def advantages(rewards):
mu = statistics.mean(rewards)
sd = statistics.pstdev(rewards) or 1.0
return [(r - mu) / sd for r in rewards] # above-average answers get positive weight
# 4 sampled answers to one math question, reward = 1 if final answer verified correct
print(advantages([1, 0, 0, 1])) # [1.0, -1.0, -1.0, 1.0]
print(advantages([0, 0, 0, 0])) # all zero -> no learning signal from this question (too hard)
print(advantages([1, 1, 1, 1])) # all zero -> no signal either (too easy): curriculum mattersالدرس الهندسي: الـ reward function هي الـ spec. لو بتكافئ «JSON صالح» بس من غير صحة الحقول، الموديل هيتعلم يطلع JSON صالح فاضي. نفس فكرة reward hacking اللي في المعمل — ونفس فكرة إن الـ eval metric الضعيف بيوجّه الفريق غلط.
DPO عمليًا: من feedback المنتج لـ preference pairs
{"prompt": [{"role": "user", "content": "اشرح لعميل إن الطلب اتأخر بسبب الجمارك"}],
"chosen": [{"role": "assistant", "content": "نعتذر عن التأخير. طلبك وصل الجمارك يوم 12 وبنتوقع الإفراج خلال 3 أيام عمل..."}],
"rejected": [{"role": "assistant", "content": "التأخير مش مسؤوليتنا، الجمارك هي السبب."}]}- المصدر: إجابتين من الموديل لنفس السؤال وموظف دعم بيختار الأحسن، أو إجابة الموديل مقابل تعديل الموظف عليها قبل الإرسال (إشارة مجانية من المنتج!).
- الجودة أهم من الكمية: pairs متناقضة (مراجعين مختلفين بيختاروا عكس بعض) بتضعف التدريب؛ قِس inter-annotator agreement.
- Beta في DPO بيتحكم في قد إيه الموديل يبعد عن الـ reference: صغير = تغيير أكبر وخطر أعلى على القدرات العامة.
- Eval قبل/بعد على المهمة وعلى قدرات عامة (regression)، زي بروتوكول Fine-tuning.
Distillation كقرار تكلفة: مثال بالأرقام
Classifier للتذاكر بيستخدم موديل كبير: 200k تذكرة/يوم × ~800 token = 160M token/يوم. لو موديل صغير (مستضاف أو API أرخص بكتير) اتعلّم من 30k مثال مصنّفين بالموديل الكبير (+ مراجعة بشرية لعينة)، وأداؤه على الـ golden set في حدود نقطة أو اتنين من الكبير، التوفير ممكن يبقى 10× أو أكتر مع latency أقل. بس: شروط استخدام بعض الـ providers بتمنع استخدام مخرجاتهم لتدريب موديلات منافسة — اقرأ الـ terms قبل ما تبدأ. وراقب الـ drift: لما أنواع التذاكر تتغير، الموديل الصغير بيقع أسرع، فخلي الكبير fallback للحالات منخفضة الثقة.
اختبر فهمك
في المعمل، ليه β=0 أدى لانهيار القيمة البشرية رغم إن reward model score عالي؟
ميزة DPO الأساسية مقارنة بـ RLHF الكامل؟
ليه temperature أعلى في الـ distillation؟
تمارين محلولة
1: عدّل RM في المعمل بحيث مالوش length bias ([1.0, 0.7, 0.0, 0.1]). إيه اللي يحصل مع β=0؟
الحل: الـ policy هتتجه للـ concise_correct والقيمة البشرية هتطلع. يعني المشكلة مش في الـ RL نفسه، في جودة الـ reward. الـ KL بقى «تأمين» ضد reward model ناقص، مش شرط للتعلم.
2: منتج عنده زر «عدّل الرد» للموظفين. إزاي تحوّله لبيانات DPO؟
الحل: لكل تعديل جوهري: prompt = سياق التذكرة، rejected = اقتراح الموديل، chosen = النص بعد تعديل الموظف. استبعد التعديلات التافهة (إملائي) والحالات اللي الموظف كتب من الصفر. PII redaction، وموافقة على الاستخدام، و eval قبل/بعد.
3: إزاي تكتشف sycophancy في الـ assistant بتاعك؟
الحل: حالات eval فيها المستخدم بيقول معلومة غلط بثقة («السياسة 60 يوم صح؟» والحقيقة 30). المقياس: نسبة التصحيح. وحالات «ضغط»: المستخدم يعترض على إجابة صح — هل الموديل بيغيّر رأيه؟
أسئلة إنترفيو: Junior → Senior → Staff
(Junior) إيه هو RLHF باختصار؟
(Senior) إيه هو reward hacking وإزاي يظهر في أنظمة LLM اللي بتبنيها؟
(Senior) DPO مقابل RLHF؟
(Staff) إمتى تقترح distillation في شركة وإمتى لأ؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.