Software Engineer Encyclopedia
0%
Domain 13 · Module assessment

تقييم المجال: MLOps وLLMOps والـ AI في الإنتاج

MLOps, LLMOps & Production AI

46 سؤال مجمّعين من دروس المجال. جاوب بصوت عالي أو اكتب إجابتك الأول، وبعدين افتح الإجابة وقارن. السؤال اللي تتعثر فيه: ارجع لدرسه من الرابط.

معيار الإتمام

أي تغيير في prompt أو model يعدّي على eval gate قبل ما يوصل للمستخدم، وعندك dashboard للتكلفة والجودة.

إزاي تستخدم الصفحة

  • ما تفتحش الإجابة قبل ما تحاول.
  • اعتبر نفسك عدّيت لو جاوبت ~80% من غير رجوع للدرس.
  • بعدها نفّذ المشروع المرتبط من صفحة المشاريع.

AI Evaluation, Safety & Cost

هل prompt-only defense كافٍ ضد indirect injection؟
لا. محتاج least privilege، authorization في الـ backend لكل action، tool allowlists، عزل البيانات، approval للأفعال الحساسة، واختبارات adversarial ثابتة.
ليه cost per successful task أحسن من cost per API call؟
لأنه بيشمل retries والأدوات والـ embeddings والـ fallback والمراجعة البشرية والفشل نفسه — وده اللي بيحدد الهامش الحقيقي.
(Senior) صمّم release gate لـ AI feature في SaaS.
Invariants (صفر تسريب، صفر tool غير مصرح، صفر canary)، thresholds لكل شريحة مع حد أقصى للتراجع عن الـ baseline، تكلفة لكل مهمة ناجحة و p95 TTFT، tiers (PR smoke، full قبل الـ merge، canary بـ auto-rollback، nightly للـ drift)، وتخزين كل run بالـ versions، ومراجعة بشرية للـ diff لما الأرقام قريبة من الحدود.
(Staff) الإدارة عايزة تقلل تكلفة الـ AI 40% في ربع سنة. خطتك؟
أبدأ بـ cost attribution لكل feature/tenant/مرحلة، وأحسب cost per successful task. أرتب الروافع بالأثر والمخاطرة: caching للـ prefix، top-k وطول الـ chunks بعد قياس recall، routing لموديل أصغر للشرائح اللي الـ eval بيثبت إنها ما بتتأثرش، تقليل التصعيد بتحسين الجودة، و batch APIs للشغل غير التفاعلي. كل تغيير بيعدي على نفس الـ gate، والتقدم بيتقاس أسبوعيًا مقابل الهدف — مع خط أحمر: مفيش تخفيض بيكسر invariant أو شريحة عملاء أساسيين.

غيّرت الـ prompt والـ accuracy الإجمالية طلعت من 88% لـ 91%. تعمل merge؟

الـ correctness الإجمالية زادت 3% بعد تغيير الـ prompt، لكن 9 حالات كانت ناجحة بقت فاشلة. القرار؟

MLOps وModel Lifecycle

لماذا لا يكفي model version وحده للـRAG rollback؟
لأن parser/chunker/embedding/index/reranker/prompt/schema قد تكون تغيرت ويجب استرجاع bundle متوافق.
هل drift alert يعني إعادة تدريب تلقائي؟
لا. تحقق من data quality و source changes والـ labels والأداء قبل قرار retraining.
لماذا لا ينبغي أن يكون drift alert سببًا تلقائيًا لإعادة التدريب؟
لأن السبب قد يكون schema break أو seasonality أو upstream corruption أو legitimate population shift.
ما الفرق بين shadow وcanary deployment؟
Shadow يشغل candidate دون التأثير في user outcome؛ canary يوجه نسبة صغيرة من traffic الفعلي إليه.

موديل جديد عدّى كل الـ offline metrics وأحسن من القديم. أأمن خطوة أولى في الإنتاج؟

PSI بتاع feature مهمة طلع 0.4 والموديل لسه بيرد عادي. أول تصرف؟

LLMOps Observability and Release Engineering

هل HTTP 200 يعني أن إجابة AI صحيحة؟
لا؛ status يثبت نجاح النقل فقط. يجب قياس task quality و grounding و schema validity وغيرها حسب الاستخدام.
هل يمكن عمل retry لكل tool call؟
لا؛ يجب معرفة idempotency والآثار الجانبية، واستخدام حدود و idempotency keys عند الحاجة.
(Senior) التكلفة اتضاعفت فجأة. خطوات التحقيق؟
قسّم التكلفة حسب feature/tenant/model/prompt version من الـ traces: هل في version جديد بيطلع output أطول؟ agent في loop؟ tenant بيعمل abuse؟ cache hit rate نزل؟ fallback لنموذج أغلى؟ بعدين حدود صارمة (max tokens، iterations، budgets) تمنع التكرار.
(Staff) صمّم platform داخلي للـ LLM calls لـ 15 فريق في الشركة.
LLM gateway موحد: provider abstraction، auth و quotas لكل فريق، routing و fallbacks مقيّمة، caching، redaction، OTel tracing بأسماء موحدة، price table و chargeback، release manifests، و sandbox keys للـ CI. والفرق تستخدم SDK رفيع. الـ trade-off: الـ gateway نقطة فشل مركزية و bottleneck تنظيمي — محتاج SLOs و ownership واضح ومسار «escape hatch» موثّق.

الـ p95 latency زاد 40% بعد release. عندك traces بـ spans. أول حاجة تعملها؟

ليه tenant_id كـ label على metric ممكن يبقى مشكلة؟

AI Engineering Projects Lab

ليه فلترة الصلاحيات قبل الـ ranking في RAG؟
عشان chunk غير مصرّح بيه ما يدخلش نتايج البحث ولا الـ prompt أصلاً؛ الفلترة بعدين بتعتمد على ما إن كل مسار كود هيفتكر يفلتر.
إيه الفرق بين hit@k وMRR؟
hit@k بيقول هل الإجابة الصحيحة ضمن أول k، و MRR بيكافئ ظهورها في ترتيب أعلى (1/rank).
(Senior) إيه الفرق بين الـ prototype بتاعك والنسخة production-ready؟
Contract مكتوب و versioning، auth بين الخدمات، observability وتكلفة لكل request، ACL في طبقة الداتا، idempotency و durable state، eval gate في CI، rollout تدريجي ورollback.
(Staff) فريق جديد عنده 6 prototypes زي دول وعايز يطلع للإنتاج في ربع سنة. ترتّب إزاي؟
ابدأ بالمكون اللي عليه أكبر قيمة وأقل مخاطرة كـ vertical slice كامل (UI → API → AI → eval → deploy)، ابني المنصة المشتركة (auth، tracing، eval harness، release manifests) أثناء أول slice مش قبله، وأجّل الـ agent ذو الأثر لآخر لحد ما الـ approval والـ idempotency والـ security suite يبقوا جاهزين.

ليه الـ unit tests ما ينفعش تنادي LLM حقيقي؟

Load test على الـ chat endpoint بالـ provider الحقيقي فشل بـ 429 كتير. الاستنتاج الأدق؟

AI Security: Prompt Injection and Guardrails

الفرق بين direct وindirect prompt injection؟
Direct: المستخدم بيكتب التعليمات الخبيثة. Indirect: مخبّية في محتوى خارجي بيسترجعه النظام. الـ indirect أخطر لأن المستخدم بريء وصلاحياته هي اللي بتتستغل.
ليه مفيش حل كامل للـ prompt injection؟
لأن النموذج مش بيفصل بين تعليمات وبيانات داخل الـ context. فبنقلل الأثر بدل الاعتماد على منعه: least privilege و approval و validation و monitoring.
(Staff) الشركة عايزة تفتح MCP marketplace للعملاء يركّبوا servers من برة. إيه الـ architecture والـ governance؟
sandbox لكل server (container بصلاحيات شبكة محدودة)، الـ host هو اللي يطبّق الصلاحيات مش الـ server، review/signing للـ servers المنشورة، pin للنسخ مع diff للـ tool descriptions، scopes يوافق عليها admin الـ tenant، rate limits و cost budgets لكل server، audit و kill switch على مستوى server/tenant، و security suite إجبارية قبل النشر. ومهم: سياسة واضحة للمسؤولية مع العميل.
(Staff) حصل تسريب canary بين tenantين في الإنتاج الساعة 2 بالليل. امشي بينا خطوة خطوة.
Contain: kill switch للـ retrieval المشترك أو للـ AI للـ tenants المتأثرين. Preserve evidence: traces و cache entries. Scope: كل responses فيها canaries تانية؟ أي tenants؟ Root cause: cache key؟ RLS bypass؟ fine-tune؟ Fix + test regression. Notify حسب العقود والقانون. Postmortem blameless و action items (مثلًا nightly cross-tenant probe).

Agent بيقرأ إيميلات العميل ويقدر يبعت إيميلات. إيه أقوى دفاع ضد indirect injection في إيميل وارد؟

ليه الـ semantic cache ممكن يسبب cross-tenant leakage؟

Evaluation Engineering for LLM Systems

(Junior) إيه الفرق بين offline وonline eval؟
Offline على dataset ثابت قبل الإطلاق كـ gate؛ online على traffic حقيقي بعد الإطلاق بـ feedback و judge على عينة، وبيكشف الحالات الجديدة.
(Junior) ليه بنفصل retrieval metrics عن generation metrics في RAG؟
عشان نعرف المرحلة المسؤولة عن الفشل: لو الـ chunk الصح ما وصلش، ولا prompt هيصلّح؛ لو وصل والإجابة غلط، المشكلة في الـ generation.
(Senior) اكتب acceptance criteria لميزة RAG.
مقاييس محددة على dataset معيّن بحجم معيّن: correctness بحد أدنى للفاصل، faithfulness بـ judge معاير، citation validity 100%، refusal correctness، latency p95، security suite صفرية، وحد أدنى لكل شريحة، و pass^k للحالات الحرجة.
(Staff) إزاي تبني ثقافة eval-driven في org من 6 فرق؟
Platform مشترك (harness، judges معايرة، gates، dashboards)، قالب acceptance criteria إجباري في الـ design review لأي AI feature، ownership للـ datasets لكل فريق، triage أسبوعي بيحوّل فشل الإنتاج لحالات، ميزانية eval، ومقاييس للـ platform نفسه (وقت الـ eval، نسبة الـ releases اللي اتمنعت صح). والأهم: القيادة تقبل «ما نطلقش» لما الـ gate يفشل.

Judge accuracy مع البشر 86% على 300 حالة. إيه الخطوة اللي لازم تعملها قبل ما تعتمد عليه في الـ gate؟

Prompt جديد جاب 81% مقابل 80% على نفس 200 حالة، والـ paired bootstrap CI للفرق [-1.5%, +3.5%]. القرار؟

AI Governance & Compliance

(Junior) ليه ما نسجلش الـ prompts كاملة في الـ logs؟
لأنها ممكن تحتوي PII وبيانات عملاء؛ ده ضد الـ minimisation وبيكبّر نطاق أي تسريب ونطاق المسح. سجّل IDs ومقاييس، والمحتوى بـ redaction و sampling و retention قصير لو لازم.
(Senior) صمّم right-to-erasure لنظام RAG multi-tenant.
Data map بكل المخازن المشتقة، مفاتيح قابلة للنسبة (tenant/user في كل key و metadata)، orchestrator idempotent بخطوات و audit، pseudonymisation للـ logs، retention قصيرة للـ backups مع re-apply بعد restore، سياسة للـ fine-tuning، و verifier مستقل nightly.
(Senior) الـ EU AI Act هيأثر على المنتج بتاعنا إزاي؟
حدد الاستخدامات وصنّفها (مع القانوني)، حدد دورك (provider/deployer)، طبّق الشفافية لو chatbot أو محتوى مولّد، ولو فيه استخدام high-risk ابدأ بالممارسات الهندسية (logging، توثيق، oversight، eval) وتابع المواعيد في النص الرسمي لأنها اتعدلت.
(Staff) إزاي تبني AI governance في شركة 300 مهندس من غير ما تبطّأهم؟
Inventory إجباري خفيف لكل AI feature، risk tiers بمسارات مختلفة (minimal = checklist ذاتي؛ high = review)، platform controls جاهزة (redaction، audit، erasure، eval gates) بحيث الامتثال يبقى «الطريق الأسهل»، ownership واضح، و review دوري. والقانوني شريك في الـ design reviews مش بوابة في الآخر.

عميل طلب مسح بياناته. إيه أصعب جزء غالبًا في نظام RAG فيه fine-tuned adapter؟

شركتك بتبيع أداة AI بتفرز CVs للشركات في الاتحاد الأوروبي. على الأرجح؟

End-to-End ML Project (Real Dataset)

(Junior/Mid) احكيلي عن مشروع ML عملته.
المشكلة (ترتيب مكالمات بسعة 300/يوم)، البيانات (UCI Bank Marketing)، الاكتشاف (duration leakage وشلته)، الـ split الزمني، الـ baselines، الموديل والتحسن بفاصل ثقة، الـ calibration، القرار (precision@300 و lift)، والـ deployment والمراقبة. وأقول بصراحة القيود (بيانات قديمة، بلد واحد).
(Senior) الـ lift وقع من 3.2 لـ 1.8 بعد شهرين. تعمل إيه؟
أفحص: training/serving skew (bug في الـ features)، data drift (PSI) في الشرائح، تغيّر في الـ base rate أو في الحملة نفسها (منتج جديد، سعر فايدة)، تغيّر في مين بيتم الاتصال بيه (feedback loop: الموديل بيختار، فالبيانات الجديدة متحيزة). بعدين retrain على بيانات حديثة مع جزء صغير exploration عشوائي، و canary قبل الاستبدال.

موديل بـ ROC-AUC 0.93 بيستخدم مدة المكالمة كـ feature. المشكلة؟

سعة الـ call center 300 مكالمة/يوم. أنسب مقياس للقرار؟