Software Engineer Encyclopedia
0%
Domain 11 · Module assessment

تقييم المجال: LLM Engineering ودمج الـ AI

LLM Engineering & AI Integration

46 سؤال مجمّعين من دروس المجال. جاوب بصوت عالي أو اكتب إجابتك الأول، وبعدين افتح الإجابة وقارن. السؤال اللي تتعثر فيه: ارجع لدرسه من الرابط.

معيار الإتمام

تبني endpoint بيستخدم LLM وبيرجّع JSON validated، بـ timeout وretry وقياس تكلفة.

إزاي تستخدم الصفحة

  • ما تفتحش الإجابة قبل ما تحاول.
  • اعتبر نفسك عدّيت لو جاوبت ~80% من غير رجوع للدرس.
  • بعدها نفّذ المشروع المرتبط من صفحة المشاريع.

Prompt Engineering

ما فائدة prompt hash في trace؟
يربط النتيجة بالنسخة الدقيقة من التعليمات ويساعد على إعادة إنتاج regression أو incident.
هل delimiters داخل prompt تمنع prompt injection وحدها؟
لا. هي تساعد في فصل البيانات عن التعليمات لكنها ليست security boundary؛ يجب فرض الصلاحيات في backend.
ما الفرق بين syntax-valid JSON وbusiness-valid output؟
JSON قد يطابق الصياغة لكنه يحتوي IDs غير موجودة أو قيمًا خارج policy أو citations غير مسموحة.
لماذا نحتاج prompt regression tests؟
لأن prompt تغيير سلوكي قد يكسر schema أو quality أو safety حتى لو لم يتغير كود التطبيق.

الـ system prompt بتاعك فيه connection string لقاعدة البيانات «عشان الموديل يعرف السياق». إيه التقييم الصح؟

LLMs: How They Work & How to Choose

هل temperature=0 تضمن factual correctness؟
لا. هي تقلل sampling randomness لكنها لا تمنع hallucination أو معلومات خاطئة.
متى نختار RAG بدل long context؟
عندما يكون corpus كبيرًا أو متغيرًا أو يحتاج ACL و citations واسترجاعًا انتقائيًا.
ما الفرق بين prefill وdecode؟
Prefill يعالج prompt ويبني KV cache؛ decode يولد token تلو الآخر مع إعادة استخدام cache.
لماذا لا يمكن استبدال tokenizer دون تغيير model weights؟
لأن token IDs و vocabulary mappings جزء من تمثيل النموذج المتعلم؛ mapping مختلف يجعل embeddings غير متوافقة.

ليه الـ output tokens بتتسعّر أغلى من الـ input tokens عادةً؟

مستخدم بيشتكي إن الـ chatbot «نسي» حاجة قالها في بداية محادثة طويلة جدًا. أرجح سبب؟

AI Integration with .NET

هل IChatClient وحده يجعل التكامل production-ready؟
لا. هو abstraction مفيد، لكنك ما زلت تحتاج authorization و validation و timeouts و budgets و observability و evaluation و security controls.
أي طبقة تملك قرار صلاحية قراءة المستند؟
Backend retrieval/application authorization قبل إدخال النص إلى prompt، وليس النموذج ولا prompt.
لماذا لا يعني HTTP timeout أن provider لم ينفذ الطلب؟
لأن التنفيذ قد يستمر بعد انقطاع العميل؛ يلزم reconciliation/request IDs وسياسة retry واعية بالتكلفة.
ما الذي يجب أن يفعله streaming endpoint عند client disconnect؟
يمرر cancellation إلى provider/tools ويوقف العمل ويحرر الموارد بدل الاستمرار دون مستهلك.

خدمة الـ ML بتاخد 30 ثانية ترد أحيانًا. إيه أخطر نتيجة لو الـ HttpClient من غير timeout؟

LLM Engineering المتقدم

ما وظيفة KV cache؟
الاحتفاظ بمفاتيح وقيم attention السابقة لتجنب إعادة حسابها أثناء decode، مقابل استهلاك ذاكرة.
هل fallback model يمكنه تخطي نفس safety gates؟
لا. يجب أن يحافظ على نفس authorization و privacy و output validation والسياسات.
هل 4-bit quantization تعني تلقائيًا inference أسرع بأربع مرات؟
لا؛ السرعة تعتمد على kernels و hardware و memory bandwidth والـ batching وقد توجد quality trade-offs.
ما الذي يجب أن يتضمنه AI cache key؟
كل مدخل يغير السلوك مثل tenant/model/prompt/index versions واللغة والمعاملات، مع authorization قبل إرجاع cached data.

عندك 300 مثال ممتاز لتحويل ملاحظات الأطباء لصيغة تقرير ثابتة، والـ few-shot prompt بيدّي 85% والمطلوب 95%. الخطوة المنطقية؟

مزوّد الـ LLM رجّع 429. التصرف الصح في الـ gateway؟

LLM Inference & Serving

(Junior) إيه الفرق بين TTFT وTPOT؟
TTFT وقت ظهور أول token (بيتحدد بالـ prefill والطابور)، TPOT متوسط الوقت بين كل token والتاني أثناء الـ streaming (بيتحدد بالـ decode).
(Senior) اشرح continuous batching وPagedAttention.
Continuous: الـ batch بيتعاد تشكيله كل خطوة decode، الطلب اللي خلص يطلع والجديد يدخل. PagedAttention: الـ KV cache في صفحات صغيرة بدل مساحة متصلة محجوزة، فالهدر بيقل والـ prefixes ممكن تتشارك. النتيجة throughput أعلى بكتير على نفس الـ GPU.
(Senior) إزاي تقرر quantization لموديل هتستضيفه؟
احسب الذاكرة المطلوبة وأثرها على الـ concurrency، جرّب صيغ مدعومة على المحرك بتاعك، وقيّم على الـ golden set بالشرائح (خصوصًا العربي والأرقام)، وقِس الـ latency الفعلي. القرار = أقل دقة بتعدّي الـ gate.
(Staff) الإدارة عايزة تنقل كل الـ AI من API لـ self-hosted لتوفير الفلوس. خطتك؟
نموذج تكلفة بأرقام حقيقية (استخدام فعلي، throughput مقاس، GPUs، تشغيل و on-call)، eval للموديلات المفتوحة على كل feature، تقسيم الـ features (اللي الموديل المفتوح كفاية فيها vs اللي محتاجة الأقوى)، pilot لـ feature واحدة عالية الحجم، abstraction (IChatClient/gateway) يخلي الرجوع سهل، وقرار في ADR. غالبًا النتيجة hybrid مش all-or-nothing.

ليه الـ batching بيرفع الـ throughput في الـ decode تقريبًا ببلاش؟

إيه اللي بيحدد عدد الطلبات المتزامنة على GPU بعد تحميل الموديل؟

Fine-tuning in Practice (LoRA/PEFT)

(Junior) إيه الفرق بين RAG وfine-tuning؟
RAG بيضيف معرفة وقت السؤال من مصادر قابلة للتحديث وبـ citations؛ الـ fine-tuning بيغيّر سلوك الموديل وشكل إجاباته بتعديل الأوزان.
(Senior) اشرح LoRA وليه بيوفر.
بنجمّد W ونتعلم ΔW = BA بـ rank صغير؛ الـ parameters المتدربة r(d+k) بدل dk، فالذاكرة (gradients و optimizer states) أقل جدًا، والـ adapter صغير وينفع يتبدل. QLoRA بيخلي الـ base 4-bit.
(Senior) إزاي تقيّم fine-tune بشكل عادل؟
Baseline قوي (أحسن prompt على نفس الـ base وعلى الموديل الأكبر)، held-out golden بالشرائح، regression suite للـ safety والقدرات العامة، format compliance، تكلفة و latency، ومقارنة paired بفواصل ثقة.
(Staff) org عايزة «platform للـ fine-tuning» لكل الفرق. إيه اللي تحطه وإيه اللي تمنعه؟
Pipeline موحد (data validation و PII scan، training jobs، eval إجباري مع baselines، model cards، registry للـ adapters، serving multi-LoRA، release manifests)، وسياسات: ممنوع تدريب على بيانات عملاء من غير موافقة/عقد، adapters مشتركة على بيانات مشتركة بس، وكل fine-tune لازم يثبت إنه أحسن من prompt engineering. والتكلفة chargeback للفرق.

بعد fine-tune، الموديل ممتاز على الـ val set لكن بيرد بشكل غريب في الإنتاج. أول حاجة تتأكد منها؟

ليه QLoRA بيوفر ذاكرة أكتر من LoRA؟

RL Essentials: RLHF, DPO and Distillation

(Junior) إيه هو RLHF باختصار؟
تحسين موديل بعد الـ SFT باستخدام تفضيلات بشرية: reward model بيتعلم يقيّم الردود من مقارنات بشرية، والموديل بيتدرّب يعظّم الـ reward ده مع KL penalty يخليه قريب من الـ SFT.
(Senior) إيه هو reward hacking وإزاي يظهر في أنظمة LLM اللي بتبنيها؟
الـ optimization بيستغل عيوب المقياس بدل الهدف الحقيقي. بيظهر لما تحسّن prompts أو agents ضد LLM judge متحيز (تطويل، مجاملة). الحل: مقاييس متعددة، judge معاير، فحص بشري، وقيود.
(Senior) DPO مقابل RLHF؟
DPO بيحوّل الـ preference optimization لـ loss تصنيفي على الأزواج مع reference model، من غير reward model منفصل أو PPO؛ أبسط وأثبت. RLHF أعقد لكنه بيولّد ويقيّم بيانات جديدة online.
(Staff) إمتى تقترح distillation في شركة وإمتى لأ؟
لما فيه مهمة ضيقة بحجم كبير والموديل الكبير مكلف/بطيء، وعندك eval قوي، وشروط الـ provider تسمح، وفريق يقدر يشغّل موديل صغير. لأ لو الحجم صغير، أو المهمة واسعة ومتغيرة، أو التكلفة التشغيلية للـ self-host أكبر من التوفير.

في المعمل، ليه β=0 أدى لانهيار القيمة البشرية رغم إن reward model score عالي؟

ميزة DPO الأساسية مقارنة بـ RLHF الكامل؟

Multimodal LLMs and Diffusion

(Mid) إزاي vision-language model بيفهم الصورة؟
الصورة بتتقسم patches، vision encoder (زي ViT متدرب بأسلوب CLIP) بيحولها embeddings، و projector بيحطها في نفس فضاء الـ tokens بتاع الـ LLM، فالموديل بيعالجها مع النص في نفس الـ attention.
(Senior) استخراج بيانات من 2 مليون فاتورة شهريًا: تصميمك؟
Layout/document AI للحقول المعيارية بتكلفة منخفضة، validation حتمي (مجاميع، تواريخ، أرقام ضريبية)، multimodal LLM fallback للفواتير اللي الـ confidence فيها منخفض فقط، مراجعة بشرية للمبالغ الكبيرة أو الـ mismatches، وقياس field-level accuracy و cost per invoice مقابل baseline يدوي.

ليه صورة أعلى دقة بتكلف أكتر في chat API؟

الـ diffusion model بيتدرب يتنبأ بإيه في كل خطوة؟