Domain 12 · Module assessment
تقييم المجال: RAG والـ Agents والـ MCP
RAG, Agents & MCP
30 سؤال مجمّعين من دروس المجال. جاوب بصوت عالي أو اكتب إجابتك الأول، وبعدين افتح الإجابة وقارن. السؤال اللي تتعثر فيه: ارجع لدرسه من الرابط.
معيار الإتمام
تبني مساعد RAG بـ citations ومقياس recall@k، وagent بأدوات عليها صلاحيات وموافقة بشرية.
إزاي تستخدم الصفحة
- ما تفتحش الإجابة قبل ما تحاول.
- اعتبر نفسك عدّيت لو جاوبت ~80% من غير رجوع للدرس.
- بعدها نفّذ المشروع المرتبط من صفحة المشاريع.
RAG وVector Search
ما أول خطوة عند إجابة RAG خاطئة؟
تحديد المرحلة التي فقدت الدليل: ingestion أو retrieval أو reranking أو context packing أو generation، عبر trace قابل لإعادة الإنتاج.
أجيب الـ golden set منين؟
ابدأ بـ 30–50 سؤال حقيقي من الـ logs أو من الناس اللي بتستخدم النظام، ولكل سؤال اكتب الحقائق المطلوبة والمستندات اللي فيها. زوّد عليه كل bug يظهر في الـ production. الأسئلة المولّدة بـ LLM مفيدة للتغطية، لكن راجعها يدويًا لأنها بتطلع أسهل من الأسئلة الحقيقية.
ما فائدة RRF في hybrid search؟
دمج rankings من مصادر مختلفة دون افتراض أن score scales الخاصة بها قابلة للمقارنة مباشرة.
لماذا يجب تقييم retrieval منفصلًا عن answer generation؟
حتى نحدد هل المشكلة في العثور على evidence أم في استخدام النموذج للأدلة التي استرجعها.
النظام بيرد «معرفش» على سؤال إجابته موجودة في المستندات. أول حاجة تفحصها؟
لو الـ chunk ما وصلش للموديل، المشكلة في الـ retrieval أو الـ chunking، وموديل أقوى مش هيخترع معلومة مش قدامه. و«حاول تجاوب دايمًا» بتحوّل «معرفش» الأمينة لـ hallucination.
ليه RRF بيستخدم الترتيب مش الـ score؟
BM25 مالوش حد أعلى وبيعتمد على طول الـ query، والـ cosine بين -1 و1. الجمع المباشر بيخلي طريقة واحدة تسيطر. الترتيب مقياس موحّد من غير normalization.
MCP
ليه الـ server بيرجّع نفس الرسالة للـ order اللي مش موجود والـ order اللي مش بتاعك؟
عشان ما يبقاش oracle: لو الرسالتين مختلفتين، المهاجم يقدر يجرّب ids ويعرف أنهي فيهم موجود فعلًا (enumeration)، ودي معلومة ما ينفعش تتسرب.
resultType في النتيجة. الـ client يتصرف إزاي؟">يعتبرها
"complete" — ده منصوص عليه في المواصفة للتوافق مع الـ servers الأقدم.ما هو confused deputy في سياق MCP؟
أن server يستخدم صلاحياته الواسعة لتنفيذ طلب لا يملك المستخدم صلاحية تنفيذه.
هل كل MCP server يدعم كل capabilities؟
لا؛ يجب التفاوض على capabilities و protocol version والتحقق من الأدوات المتاحة.
المواصفة شالت الـ resumability: الطلب اللي كان شغال «ضاع» من وجهة نظر الـ client ولازم يتبعت تاني. عشان كده أي mutation محتاجة idempotency key.
Last-Event-ID و initialize مش جزء من النسخة دي."public" بيسمح لـ cache مشترك يرجّع نفس الرد لمستخدمين مختلفين، فمستخدم عادي ممكن يشوف قائمة أدوات الـ admin. والحقل إلزامي على نتائج الـ list في المواصفة دي.Generative AI, Agents & Workflows
متى تختار workflow بدل autonomous agent؟
عندما تكون الخطوات وقواعد العمل معروفة؛ workflow أبسط وأكثر قابلية للاختبار والحوكمة.
لماذا نضع max steps وtool budgets؟
لمنع loops غير المنتهية وتقليل المخاطر والتكلفة والـ latency.
لماذا يجب تقييم agent trajectory وليس final answer فقط؟
لأن الإجابة قد تبدو صحيحة رغم استخدام tool خاطئ أو تنفيذ action غير مصرح أو نجاح بالصدفة.
ما علامات agent loop غير المنتج؟
تكرار نفس tool/arguments، عدم تغير state، تكرار فشل، أو استهلاك خطوات دون تقدم.
ده indirect prompt injection. التعليمات والتلخيص بيقللوا الاحتمال لكن مش بيلغوه. الدفاع اللي بيصمد هو اللي ما بيعتمدش على إن الموديل «يفهم»: صلاحيات محدودة وموافقة على الأفعال اللي ليها أثر خارجي.
مهمتك: استخراج 5 حقول من فاتورة وحفظهم. تختار إيه؟
الخطوات معروفة مسبقًا، فمفيش سبب تدّي الموديل حرية اختيار المسار. الـ workflow الثابت أرخص وأسرع وأسهل في الاختبار. الـ agent يتبرر لما المسار نفسه مجهول.
Agentic Workflow Engineering
لماذا approval يجب أن يرتبط بـpayload hash؟
حتى لا يتغير محتوى العملية بعد موافقة المستخدم على payload مختلف.
هل compensation تعني حذف العملية السابقة؟
لا. غالبًا هي business action تعويضية مستقلة وقد تفشل وتحتاج retry أو تدخلًا بشريًا.
(Senior) إزاي تقيّم agent غير حتمي قبل الإطلاق؟
سيناريوهات بحالة بيئة ابتدائية ونهائية متوقعة، trajectory checks (tools ممنوعة/مطلوبة، arguments)، policy violations = 0، تكرار k مرات و pass^k، وتتبع التكلفة والخطوات. وبعد الإطلاق: عينة online + feedback.
(Staff) الشركة عايزة platform للـ agents لكل الفرق. إيه الـ primitives اللي توفرها؟
Tool registry بـ descriptors (risk، scope، approval، idempotency)، runner موحد بحدود و checkpoints، approval service، memory service بـ RLS و retention، sandbox لتنفيذ الكود، eval harness للـ trajectories، tracing موحد، و kill switches. ومع ده guidance «ابدأ بـ workflow» و review للـ agents ذات الأثر.
workflow فيه: (1) خصم من البطاقة (2) حجز المخزون (3) إرسال تأكيد. الخطوة 2 فشلت نهائيًا. التصرف الصح؟
مفيش transaction واحدة بتغطي خدمات مختلفة، فالتراجع بيتعمل بأفعال معاكسة (saga). لازم كل خطوة ليها أثر يكون ليها compensation معرّفة مسبقًا، والـ compensation نفسها idempotent.
ليه لازم تسجّل output نداء الـ LLM في الـ checkpoint بدل ما تعيد النداء عند الـ resume؟
التكلفة سبب، لكن السبب الأخطر هو الاتساق: لو إنسان وافق على draft معيّن وبعد الـ crash اتولّد draft تاني، اللي هيتبعت مش اللي اتوافق عليه.
Production Vector Retrieval
هل cosine similarity المرتفعة تثبت أن النتيجة صحيحة؟
لا؛ هي إشارة ترتيب تعتمد على النموذج والبيانات. الجودة تُقاس بأحكام relevance على استعلامات ممثلة.
هل نطبق صلاحيات tenant بعد retrieval؟
لا. يجب تقييد الاستعلام بالـ tenant والـ ACL قبل إرجاع أي candidate أو context.
(Senior) اشرح خطة ترحيل embedding model لـ 50 مليون chunk.
عمود/جدول جديد، dual-write، backfill throttled بأولوية الـ tenants النشطة، shadow eval على golden set وعينة live، cutover بـ flag لكل tenant، soak، ثم retire. مع حساب التكلفة والـ rate limits وخطة rollback.
(Staff) pgvector ولا vector DB مخصص؟ دافع عن قرارك.
ابدأ من القيود: حجم الـ vectors، QPS، نوع الفلاتر، العزل، الفريق. pgvector بيكسب في البساطة والـ transactions مع الـ metadata و RLS وتقليل المكونات حتى مستوى معين؛ الـ DB المخصص بيكسب في الأحجام الضخمة والـ filtered search المتقدم والـ scaling المستقل. القرار في ADR مع benchmark على بياناتك وخطة خروج (abstraction للـ retriever).
زيادة الدقة التقريبية بتفيد بس لو الـ index كان بيضيّع نتايج. قِس recall الـ index ضد exact search: لو هو 0.98 أصلًا، وقتك أحسن يتصرف على الـ golden set والـ reranker.
Tenant بيملك 2% من الـ vectors في index HNSW مشترك. الـ queries بتاعته بترجع نتايج ناقصة. إيه السبب الأرجح؟
المعمل وضّح ده: مع فلتر selective الـ recall بينهار. الحل pre-filter/exact للـ tenants الصغيرة، iterative scan، أو partial index/partition للكبيرة.