Software Engineer Encyclopedia
0%
Domain 12 · Module assessment

تقييم المجال: RAG والـ Agents والـ MCP

RAG, Agents & MCP

30 سؤال مجمّعين من دروس المجال. جاوب بصوت عالي أو اكتب إجابتك الأول، وبعدين افتح الإجابة وقارن. السؤال اللي تتعثر فيه: ارجع لدرسه من الرابط.

معيار الإتمام

تبني مساعد RAG بـ citations ومقياس recall@k، وagent بأدوات عليها صلاحيات وموافقة بشرية.

إزاي تستخدم الصفحة

  • ما تفتحش الإجابة قبل ما تحاول.
  • اعتبر نفسك عدّيت لو جاوبت ~80% من غير رجوع للدرس.
  • بعدها نفّذ المشروع المرتبط من صفحة المشاريع.

RAG وVector Search

ما أول خطوة عند إجابة RAG خاطئة؟
تحديد المرحلة التي فقدت الدليل: ingestion أو retrieval أو reranking أو context packing أو generation، عبر trace قابل لإعادة الإنتاج.
أجيب الـ golden set منين؟
ابدأ بـ 30–50 سؤال حقيقي من الـ logs أو من الناس اللي بتستخدم النظام، ولكل سؤال اكتب الحقائق المطلوبة والمستندات اللي فيها. زوّد عليه كل bug يظهر في الـ production. الأسئلة المولّدة بـ LLM مفيدة للتغطية، لكن راجعها يدويًا لأنها بتطلع أسهل من الأسئلة الحقيقية.
ما فائدة RRF في hybrid search؟
دمج rankings من مصادر مختلفة دون افتراض أن score scales الخاصة بها قابلة للمقارنة مباشرة.
لماذا يجب تقييم retrieval منفصلًا عن answer generation؟
حتى نحدد هل المشكلة في العثور على evidence أم في استخدام النموذج للأدلة التي استرجعها.

النظام بيرد «معرفش» على سؤال إجابته موجودة في المستندات. أول حاجة تفحصها؟

ليه RRF بيستخدم الترتيب مش الـ score؟

MCP

ليه الـ server بيرجّع نفس الرسالة للـ order اللي مش موجود والـ order اللي مش بتاعك؟
عشان ما يبقاش oracle: لو الرسالتين مختلفتين، المهاجم يقدر يجرّب ids ويعرف أنهي فيهم موجود فعلًا (enumeration)، ودي معلومة ما ينفعش تتسرب.
resultType في النتيجة. الـ client يتصرف إزاي؟">يعتبرها "complete" — ده منصوص عليه في المواصفة للتوافق مع الـ servers الأقدم.
ما هو confused deputy في سياق MCP؟
أن server يستخدم صلاحياته الواسعة لتنفيذ طلب لا يملك المستخدم صلاحية تنفيذه.
هل كل MCP server يدعم كل capabilities؟
لا؛ يجب التفاوض على capabilities و protocol version والتحقق من الأدوات المتاحة.

Generative AI, Agents & Workflows

متى تختار workflow بدل autonomous agent؟
عندما تكون الخطوات وقواعد العمل معروفة؛ workflow أبسط وأكثر قابلية للاختبار والحوكمة.
لماذا نضع max steps وtool budgets؟
لمنع loops غير المنتهية وتقليل المخاطر والتكلفة والـ latency.
لماذا يجب تقييم agent trajectory وليس final answer فقط؟
لأن الإجابة قد تبدو صحيحة رغم استخدام tool خاطئ أو تنفيذ action غير مصرح أو نجاح بالصدفة.
ما علامات agent loop غير المنتج؟
تكرار نفس tool/arguments، عدم تغير state، تكرار فشل، أو استهلاك خطوات دون تقدم.

مهمتك: استخراج 5 حقول من فاتورة وحفظهم. تختار إيه؟

Agentic Workflow Engineering

لماذا approval يجب أن يرتبط بـpayload hash؟
حتى لا يتغير محتوى العملية بعد موافقة المستخدم على payload مختلف.
هل compensation تعني حذف العملية السابقة؟
لا. غالبًا هي business action تعويضية مستقلة وقد تفشل وتحتاج retry أو تدخلًا بشريًا.
(Senior) إزاي تقيّم agent غير حتمي قبل الإطلاق؟
سيناريوهات بحالة بيئة ابتدائية ونهائية متوقعة، trajectory checks (tools ممنوعة/مطلوبة، arguments)، policy violations = 0، تكرار k مرات و pass^k، وتتبع التكلفة والخطوات. وبعد الإطلاق: عينة online + feedback.
(Staff) الشركة عايزة platform للـ agents لكل الفرق. إيه الـ primitives اللي توفرها؟
Tool registry بـ descriptors (risk، scope، approval، idempotency)، runner موحد بحدود و checkpoints، approval service، memory service بـ RLS و retention، sandbox لتنفيذ الكود، eval harness للـ trajectories، tracing موحد، و kill switches. ومع ده guidance «ابدأ بـ workflow» و review للـ agents ذات الأثر.

workflow فيه: (1) خصم من البطاقة (2) حجز المخزون (3) إرسال تأكيد. الخطوة 2 فشلت نهائيًا. التصرف الصح؟

ليه لازم تسجّل output نداء الـ LLM في الـ checkpoint بدل ما تعيد النداء عند الـ resume؟

Production Vector Retrieval

هل cosine similarity المرتفعة تثبت أن النتيجة صحيحة؟
لا؛ هي إشارة ترتيب تعتمد على النموذج والبيانات. الجودة تُقاس بأحكام relevance على استعلامات ممثلة.
هل نطبق صلاحيات tenant بعد retrieval؟
لا. يجب تقييد الاستعلام بالـ tenant والـ ACL قبل إرجاع أي candidate أو context.
(Senior) اشرح خطة ترحيل embedding model لـ 50 مليون chunk.
عمود/جدول جديد، dual-write، backfill throttled بأولوية الـ tenants النشطة، shadow eval على golden set وعينة live، cutover بـ flag لكل tenant، soak، ثم retire. مع حساب التكلفة والـ rate limits وخطة rollback.
(Staff) pgvector ولا vector DB مخصص؟ دافع عن قرارك.
ابدأ من القيود: حجم الـ vectors، QPS، نوع الفلاتر، العزل، الفريق. pgvector بيكسب في البساطة والـ transactions مع الـ metadata و RLS وتقليل المكونات حتى مستوى معين؛ الـ DB المخصص بيكسب في الأحجام الضخمة والـ filtered search المتقدم والـ scaling المستقل. القرار في ADR مع benchmark على بياناتك وخطة خروج (abstraction للـ retriever).

Tenant بيملك 2% من الـ vectors في index HNSW مشترك. الـ queries بتاعته بترجع نتايج ناقصة. إيه السبب الأرجح؟