Software Engineer Encyclopedia
0%
Domain 10 · Module assessment

تقييم المجال: Python وML وData Engineering

Python, Machine Learning & Data Engineering

88 سؤال مجمّعين من دروس المجال. جاوب بصوت عالي أو اكتب إجابتك الأول، وبعدين افتح الإجابة وقارن. السؤال اللي تتعثر فيه: ارجع لدرسه من الرابط.

معيار الإتمام

تاخد dataset خام وتطلع منه موديل متقيّم صح، وتشرح ليه الرقم ده موثوق.

إزاي تستخدم الصفحة

  • ما تفتحش الإجابة قبل ما تحاول.
  • اعتبر نفسك عدّيت لو جاوبت ~80% من غير رجوع للدرس.
  • بعدها نفّذ المشروع المرتبط من صفحة المشاريع.

Python

هل لازم تنقل الـbackend كله إلى Python عشان تدخل AI؟
لا. احتفظ بـ ‎.NET كطبقة المنتج والـ business، واستخدم Python للمكوّنات التي تستفيد فعلًا من منظومته العلمية.
هل type hints تمنع وصول string مكان int وقت التشغيل؟
لا. هي تلميحات ساكنة أساسًا؛ استخدم Pydantic أو validation صريح عند حدود الإدخال.
لماذا لا يعني async أن CPU-heavy code أصبح أسرع؟
Async يحسن تنظيم I/O concurrency، لكنه لا يجعل Python bytecode CPU-bound يعمل بالتوازي تلقائيًا؛ استخدم processes أو native kernels أو workers.
لماذا يجب أن يتضمن cache key هوية tenant؟
حتى لا تُعاد نتيجة مخزنة لمستخدم أو tenant آخر، مع ضرورة التحقق من authorization قبل cache lookup/return.

بتعالج ملف JSONL حجمه 30GB سطر بسطر وتبعته للـ embedding API. أنهي تصميم؟

Math for Machine Learning

في X shape=(100, 8)، ماذا يعني axis=0 عند mean؟
يعني حساب متوسط كل feature عبر 100 sample، فتكون النتيجة shape=(8,).
متى يتساوى dot product مع cosine similarity؟
عندما يكون المتجهان normalized إلى unit length؛ عندها dot product يساوي cosine.
لماذا لا يثبت ROC-AUC أن الاحتمالات calibrated؟
ROC-AUC يقيس قدرة الترتيب بين positive و negative، بينما calibration تقيس مدى تطابق الاحتمال المتوقع مع التكرار الفعلي.
هل PCA يضمن الحفاظ على المعلومات المهمة لمهمة التصنيف؟
لا؛ PCA يحافظ على اتجاهات variance وليس بالضرورة الاتجاهات الأكثر ارتباطًا بالـ target.

اختبار طبي حساسيته 99% ونسبة الإيجابي الكاذب 1%، والمرض بيصيب 1 من كل 10,000. شخص طلع إيجابي. احتمال إنه مريض فعلًا تقريبًا؟

الـ loss بتتذبذب بعنف وبتكبر مع كل step. أول حاجة تجربها؟

Machine Learning Fundamentals — Part 1

لماذا نضع imputer داخل Pipeline؟
حتى يتعلم median من training fold فقط ولا يطلع على validation fold أثناء التقييم.
هل نعمل scaling على كامل dataset قبل train/test split؟
لا. fit preprocessing على training data فقط داخل Pipeline حتى لا يحدث leakage.
متى يكون Group Split أفضل من random split؟
عندما توجد عدة records لنفس entity مثل customer أو patient؛ يجب منع ظهور نفس المجموعة في train و test.
ما الفرق بين empirical risk وexpected risk؟
Empirical risk متوسط loss على العينة التدريبية، أما expected risk فهو الأداء المتوقع على distribution المستقبلية المستهدفة.

هتعمل KNN على features: العمر (20–70) والدخل السنوي (20,000–500,000). لو نسيت الـ scaling؟

Machine Learning Fundamentals — Part 2

هل feature drift وحده دليل كافٍ لإعادة التدريب؟
لا. هو signal للتحقيق. اربطه بتغير الأداء، label delay، business outcomes، وجودة البيانات قبل قرار retraining.
هل نحفظ model weights فقط؟
لا. يجب حفظ preprocessing و schema و version و lineage ومقاييس التقييم وإصدارات dependencies.
لماذا لا يكفي Silhouette Score لإثبات فائدة clustering؟
هو metric داخلي هندسي ولا يثبت أن المجموعات مستقرة أو مفيدة تجاريًا أو مرتبطة بنتيجة حقيقية.
لماذا يجب حفظ preprocessing مع model artifact؟
لأن inference يجب أن يستخدم نفس feature transformations والترتيب والـ schema المستخدمة أثناء التدريب.

موديل كشف احتيال دقته 99.2% على بيانات فيها 0.8% احتيال. إيه أول استنتاج؟

Machine Learning Evaluation (pillar)

هل LLM-as-judge بديل كامل عن human evaluation؟
لا. هو noisy evaluator ويحتاج calibration وعينات بشرية خصوصًا في القرارات عالية التأثير.
هل نستخدم test set لاختيار threshold؟
لا. اختر threshold على validation ثم استخدم test لتقدير نهائي غير متحيز.
لماذا لا ينبغي أن يكون LLM judge هو release gate الوحيد؟
لأنه قد يتأثر بالـ position/verbosity/self-preference والـ rubric، ويحتاج calibration ومقارنة بعينات بشرية.
ما الذي يجب أن يحدث إذا فشل tenant-isolation invariant؟
يجب إيقاف release أو احتواء النظام؛ لا يجوز تعويض خرق أمني بمتوسط جودة أعلى.

Test set فيه 300 صف منهم 12 موجب. موديلك الجديد recall بتاعه 0.75 والقديم 0.67. الاستنتاج؟

Deep Learning Foundations

ما الفرق بين training وinference؟
Training يحسب gradients ويحدث الأوزان؛ inference يستخدم النموذج لإنتاج predictions دون تحديث weights.
هل زيادة context length مجانية؟
لا. تؤثر على prefill compute والذاكرة و KV cache والـ latency.
ما الذي يحدث في backward pass؟
تُطبق chain rule على computational graph لحساب gradients لكل parameter ثم يستخدم optimizer هذه gradients لتحديث الأوزان.
لماذا LoRA يقلل trainable parameters؟
لأنه يجمد base weights ويتعلم low-rank adapter matrices بدل تحديث المصفوفة الكاملة.

الـ training loss بتنزل والـ validation loss بتطلع من epoch 15. إيه اللي بيحصل وإيه التصرف؟

Deep Learning from Scratch with NumPy

اشرح backpropagation ببساطة؟
تطبيق chain rule من الخرج للمدخل: بنحسب مشتقة الـ loss بالنسبة لكل layer بإعادة استخدام المشتقات اللي بعدها، فكل gradient بيتحسب مرة واحدة.
إيه vanishing gradient وإزاي تعالجه؟
gradients بتصغر مع عمق الشبكة (مثلاً sigmoid/tanh بتشبع). حلول: ReLU، تهيئة مناسبة، normalization، residual connections.
(Senior) إيه الفرق بين Adam وAdamW ومتى تفضل SGD مع momentum؟
AdamW بيفصل الـ weight decay عن الـ adaptive scaling فيبقى regularization حقيقي؛ هو الافتراضي للـ Transformers. SGD+momentum أحيانًا بيعمم أحسن في الـ vision ومع schedules مضبوطة، وذاكرته أقل.
(Senior) تدريب موديل بيطلع NaN بعد 2000 خطوة. خطة التحقيق؟
ارجع لآخر checkpoint سليم، سجّل max abs للـ activations والـ gradients لكل طبقة، دوّر على log/exp/قسمة غير مستقرة، جرّب lr أقل أو gradient clipping، واتأكد من بيانات الدفعة اللي حصل عندها (قيم شاذة).

لو Y = X·W حيث X (n,d) و W (d,k)، إيه shape الـ dW وإزاي بيتحسب؟

شبكة tanh عميقة، الطبقات الأولى مش بتتعلم خالص. السبب الأرجح؟

Build a Tiny Transformer from Scratch (Lab)

(Junior) إيه هو الـ token وليه التكلفة بتتحسب بيه؟
وحدة النص اللي الموديل بيشوفها (قطعة من كلمة غالبًا بـ BPE). الحساب جوه الموديل بيتم لكل token، فالتكلفة والـ latency والـ context limits كلها بالـ tokens.
(Junior) اشرح self-attention باختصار.
كل token بيعمل query بيقارنه بـ keys كل الـ tokens (dot product مقسوم على √d)، softmax يحوّل المقارنات لأوزان، والناتج مجموع الـ values بالأوزان دي. في الـ GPT فيه causal mask يمنع النظر للمستقبل.
(Senior) إيه علاقة الـ next-token objective بالـ hallucination؟
الموديل اتدرّب يطلع الاستكمال الأكثر احتمالًا مش الأصح؛ لو المعلومة مش موجودة، استكمال «معقول الشكل» هو الأكثر احتمالًا. الحل الهندسي: grounding بـ RAG، طلب citations والتحقق منها، والسماح بـ «مش عارف» مع قياسه.
(Staff) فريقك عايز يدرّب LLM خاص من الصفر «عشان الخصوصية». ردك؟
التدريب من الصفر محتاج بيانات وحوسبة وخبرة بحجم مختلف تمامًا عن احتياج المنتج غالبًا. الخصوصية بتتحل بنموذج مفتوح مستضاف داخليًا أو بخدمة ليها عقود residency/no-training، ولو محتاج تخصيص: RAG أو fine-tuning خفيف (LoRA) مع eval. القرار في ADR بتكلفة وجدول زمني ومعايير نجاح.

ليه بنقسم attention scores على √d؟

الـ KV cache بيغيّر النص المولّد؟

Data Engineering للـ AI

ما الذي يجعل backfill آمنًا؟
مفاتيح deduplication، partition strategy، deterministic transforms، staging/validation، ونشر ذري أو قابل للاسترجاع.
لماذا at-least-once delivery يحتاج idempotent consumer؟
لأن الرسالة قد تتكرر؛ idempotency تمنع تكرار الأثر عند replay أو retry.
هل data drift يعني بالضرورة أن model performance انخفض؟
لا؛ drift إشارة تستدعي التحقيق، وقد يكون تغيرًا مشروعًا أو تغيرًا في المصدر دون تدهور فعلي.
ما فائدة data contract؟
تحديد schema و semantics والـ quality expectations والـ ownership وسياسة تغيير واضحة بين producer و consumer.

الـ job بتاع التحميل اتعاد تشغيله بعد timeout، والتقرير بقى فيه مبيعات اليوم مضروبة في 2. إيه اللي ناقص في التصميم؟

Document Ingestion للـ RAG

هل metadata التي يرسلها PDF تحدد tenant ownership؟
لا. الملكية والصلاحيات يجب أن تأتي من مصدر موثوق في backend.
لماذا نستخدم checksum وdocument version؟
للكشف عن التغييرات وإعادة فهرسة المتغير فقط مع دعم incremental updates والـ rollback.
لماذا نستخدم content hash وstable IDs في ingestion؟
لتحقيق idempotency واكتشاف التغيير ومنع تكرار chunks عند retry.
لماذا يجب تطبيق ACL قبل تمرير evidence إلى LLM؟
لمنع كشف بيانات غير مصرح بها؛ لا ينبغي الاعتماد على prompt ليطلب من النموذج تجاهل evidence غير المسموح.

غيّرت الـ chunking strategy (الحجم من 300 لـ 500 token). إيه اللي لازم يحصل للـ index؟

Natural Language Processing

لماذا نضع TfidfVectorizer داخل Pipeline؟
حتى يتم تعلم vocabulary و IDF داخل training fold فقط، ما يمنع تسرب معلومات validation/test أثناء cross-validation.
هل static word embedding يفهم اختلاف معنى الكلمة حسب السياق؟
ليس بصورة سياقية كاملة؛ contextual embeddings تنتج تمثيلًا يعتمد على الجملة.

موديل تصنيف تذاكر دعم وصل 98% في التقييم و70% في الإنتاج. البيانات كان فيها حقل «القسم اللي اتحوّلت له التذكرة» جوه النص. التفسير؟

نصوص عربية بلهجات مختلفة وأخطاء إملائية كتير. أنهي تمثيل كلاسيكي غالبًا هيبقى أثبت؟

Computer Vision Engineering

لماذا لا نستخدم accuracy وحدها في detection؟
لأن المهمة تتطلب صحة الفئة وموقع الجسم معًا؛ IoU و mAP يقيسان جودة localization والترتيب عبر thresholds.
ما سبب ضرورة حفظ preprocessing version مع model؟
لأن اختلاف resize أو normalization أو channel order يغير distribution المدخلات وقد يفسد inference حتى لو بقيت الأوزان نفسها.
(Senior) إزاي تضمن إن الـ serving بيعمل نفس preprocessing التدريب؟
مواصفة preprocessing مكتوبة ومتنسخة مع الموديل، parity tests بتقارن outputs Python و ‎.NET على صور حقيقية بأبعاد متنوعة، تسجيل إحصائيات الـ input في الإنتاج، واختبارات للـ EXIF والـ color order والـ coordinate mapping.
(Staff) الشركة عايزة «AI يقرأ كل مستندات العملاء». إيه الـ architecture والقرارات؟
Ingestion pipeline: classification لنوع المستند ← OCR+layout (managed أو self-hosted حسب الـ residency والجودة على العربي) ← structured extraction للأنواع المعروفة (فواتير) بـ schemas و validation ← chunking يحترم الجداول ← indexing بالـ ACL. Human review للـ low confidence، eval لكل نوع مستند، تكلفة لكل صفحة، و retention/PII. والـ VLM كـ fallback للأنواع غير المعروفة مش كأساس.

detector بيطلّع 4 صناديق متداخلة لكل عربية. الـ recall ممتاز والـ precision وحشة. الحل الأول؟

موديل تصنيف صور دقته 94% في الـ notebook و61% بعد النشر في خدمة تانية. أرجح سبب؟

Speech and Audio AI Lab

ليه 16 kHz شائع في ASR؟
يغطي ترددات الكلام الأساسية (حتى ~8 kHz بقاعدة Nyquist) بتكلفة بيانات أقل من 44.1 kHz.
إيه عيوب WER؟
بيعامل كل الأخطاء بنفس الوزن (خطأ في اسم دواء = حرف جر)، حساس للـ normalization، ومش بيقيس المعنى. يُكمَّل بمقاييس على المصطلحات الحرجة ومراجعة بشرية.
(Senior) صمّم خدمة تفريغ اجتماعات لـ SaaS متعدد المستأجرين.
Upload لـ storage scoped بالـ tenant، job queue عادل لكل tenant، worker يعمل normalization لـ 16 kHz mono ← VAD ← ASR (managed أو self-hosted حسب الأرقام) ← diarization ← دمج ← تخزين بالـ timestamps، تلخيص بالـ LLM، retention وحذف، مراقبة RTF وتكلفة الدقيقة، و eval بشرائح لهجات.
(Senior) العميل اشتكى إن الأرقام في التفريغ غلط دايمًا. تعمل إيه؟
قيس entity accuracy للأرقام تحديدًا، شوف normalization (أرقام عربية/لاتينية، «ألفين وخمسمية» vs 2500)، جرّب post-processing لتحويل الأرقام المكتوبة بالكلام، و prompt/vocabulary بالأنماط المتوقعة، وأضف الحالات للـ golden set.

ملف 48 kHz stereo اتبعت لموديل متدرّب على 16 kHz mono من غير تحويل. المتوقع؟

ليه WER ممكن يطلع أكبر من 100%؟

Applied ML Project Engineering

لماذا لا نستخدم test set في كل تجربة؟
لأن تكرار الاختيار بناءً على test يسرّب معلوماته إلى عملية التطوير ويجعل تقدير الأداء متفائلًا.
هل threshold يساوي 0.5 دائمًا؟
لا؛ يتحدد حسب calibration وتكلفة الأخطاء وسعة التشغيل والقرار المطلوب.
(Senior) الموديل شغال في الإنتاج 6 شهور والـ AUC ثابت، لكن البيزنس بيقول مفيش فايدة. ليه ممكن؟
AUC بيقيس الترتيب مش الأثر. ممكن العروض مش بتغيّر السلوك (uplift صفر)، أو الـ feedback loop، أو الـ threshold قديم. محتاج holdout وقياس الأثر السببي مش دقة التنبؤ بس.
(Staff) فريق الـ ML وفريق الـ .NET بيتخانقوا على مكان الموديل (Python service vs ONNX in-process). إزاي تحسم؟
ADR بمعايير: latency budget، عدد الموديلات ودورة تحديثها، دعم الـ ONNX للموديل، مهارات الفريق، الـ observability. غالبًا: موديلات tabular بسيطة ← ONNX in-process مع parity tests؛ موديلات معقدة/GPU/تحديث سريع ← Python service بـ contract واضح. والأهم contract tests و feature schema مشترك بغض النظر عن الاختيار.

الخدمة شغالة ومفيش errors، لكن التوقعات كلها بقت قريبة من 0.5 بعد deploy جديد لخدمة الـ serving (الموديل نفسه ما اتغيرش). أرجح سبب؟

الموديل جاب ROC-AUC 0.97 بـ random split و0.71 بـ temporal split. إيه التفسير الأرجح؟

Recommender Systems

(Mid) اشرح matrix factorization.
بنمثّل كل مستخدم وكل عنصر بـ vector صغير من latent factors بحيث الـ dot product يقرّب التفاعل المعروف؛ بنتعلمهم بـ SGD أو ALS مع regularization و biases، وبعدين الـ dot product مع العناصر اللي ما اتفاعلش معاها هو الترشيح.
(Senior) صمّم recommender لمتجر بـ 5M منتج و20M مستخدم.
مرحلتين: candidate generation من مصادر متعددة (two-tower ANN، co-occurrence، popular per segment، recently viewed) ← ranker بـ features غنية ← rules (مخزون، تنوع). تدريب batch يومي + features real-time من الـ session، تسجيل impressions، تقييم temporal offline، و A/B بـ guardrails. cold start بالـ content والـ segments.

ليه temporal split ضروري في تقييم الـ recommenders؟

منتج جديد اتضاف للكتالوج النهارده. أنهي approach يقدر يرشحه فورًا؟

Time Series Forecasting

(Mid) ليه ما ينفعش random split في الـ time series؟
لأن الموديل هيتدرب على بيانات من المستقبل بالنسبة لنقاط الـ test (leakage)، والارتباط الزمني بين النقاط بيخلي الأداء يبان أحسن بكتير من الواقع. لازم split زمني أو rolling-origin backtesting.
(Senior) آلاف tenants وعايزين forecast لكل واحد. تصميمك؟
موديل global (LightGBM) بـ lag/rolling features و tenant features (الخطة، الحجم، القطاع) بدل ARIMA لكل series، مع fallback لـ seasonal naive للـ series القصيرة، backtesting على عينة tenants بشرائح، quantile outputs للـ intervals، pipeline أسبوعي بيكتب p10/p50/p90 مع model version، ومراقبة الخطأ بعد وصول الفعلي.

MASE = 1.15 للموديل الجديد. المعنى؟

feature اسمها rolling_mean_7 اتحسبت بـ rolling(7).mean() على السلسلة مباشرة. المشكلة؟