Software Engineer Encyclopedia
0%
Domain 10 · Python, Machine Learning & Data Engineering · Pillar

Recommender Systems: من «الأكثر مبيعًا» لـ matrix factorization وtwo-tower

Recommender Systems

إزاي تبني «ممكن يعجبك كمان»: baselines (popularity)، content-based، collaborative filtering (user/item-based)، matrix factorization (ALS/SGD) بمعمل NumPy، implicit feedback، الـ cold start، two-tower retrieval + ranking، التقييم الصح (split زمني، precision/recall/nDCG@k، coverage) والـ A/B، ومعمارية الخدمة من ASP.NET Core.

  • Intermediate
  • ~9 min read
  • 14 sections
  • 4 code examples
  • 2 diagrams
  • 4 questions
  • Priority L2 · Essential
  • Python 3.12 + NumPy (lab) · concepts library-independent (implicit, LightFM, TorchRec as references) · ML.NET MatrixFactorization for .NET-side training (optional)

بعد الدرس ده هتقدر

  • تبني baseline قوي (popularity، recently-viewed) قبل أي موديل
  • تفرق بين content-based وcollaborative filtering وتعرف نقاط ضعف كل واحد
  • تطبق matrix factorization وتفهم الـ latent factors والـ regularization
  • تتعامل مع implicit feedback (clicks/views) والـ negative sampling
  • تحل الـ cold start للمستخدمين والعناصر الجديدة
  • تبني pipeline من مرحلتين: candidate retrieval (ANN/two-tower) ثم ranking
  • تقيّم offline بـ temporal split ومقاييس ranking، وonline بـ A/B على metric بيزنس

المتطلبات قبل ما تبدأ

01

المشكلة و baselines لازم تغلبها

The problem and the baselines
Basics

عندك مستخدمين وعناصر (منتجات، مستندات، كورسات) وتاريخ تفاعلات. المطلوب: لكل مستخدم، رتّب العناصر اللي غالبًا هيتفاعل معاها. قبل أي ML، ابني baselines — وهتتفاجئ إن «الأكتر شعبية» بيغلب موديلات كتير معمولة غلط.

Baselineالفكرةليه مهم
Popularityالأكتر تفاعلًا في آخر 7 أيامصعب جدًا يتغلب على مستخدمين جدد؛ أي موديل لازم يكسبه
Popular per segmentالأكتر شعبية في فئة/بلد/خطة المستخدمتخصيص رخيص
Recently viewed / buy againاللي المستخدم شافه أو اشتراه قبل كدهقوي جدًا في البقالة والمستندات المتكررة
Co-occurrence«اللي اشتروا X اشتروا Y» من الـ basketsitem-based CF بأبسط شكل
Catalogue1M itemsPopular / co-occurMF / two-tower ANNContent similarityCandidates~500, mergedRanker + rulestop 20, diversity, filters
Typical production shape: cheap retrieval of hundreds of candidates, then an expensive ranker on the short list
02

Content-based مقابل collaborative filtering

Two families
Deep dive
Content-basedCollaborative filtering
بيعتمد علىخصائص العنصر (نص، فئة، tags، embeddings)سلوك المستخدمين بس (مين تفاعل مع إيه)
عنصر جديديشتغل فورًا (عنده خصائص)cold start: محدش تفاعل معاه لسه
الاكتشاف«المزيد من نفس الشيء» (filter bubble)بيكتشف علاقات غير متوقعة («اللي بيحبوا X بيحبوا Y المختلف»)
يحتاجfeatures كويسةتفاعلات كفاية (كثافة البيانات)

Content-based بالـ embeddings: نفس embeddings الـ RAG! embed وصف كل مستند/منتج، ولكل مستخدم profile = متوسط embeddings اللي تفاعل معاهم (مع وزن للأحدث)، والترشيح = أقرب جيران في الـ vector index. ده يبنى في يوم على البنية اللي عندك.

Item-based CF: تشابه العنصرين = تشابه مجموعة المستخدمين اللي تفاعلوا معاهم (cosine على أعمدة مصفوفة user×item). أثبت من user-based لأن العناصر بتتغير أبطأ من المستخدمين، وبيتحسب offline.

03

Matrix factorization: الـ latent factors

Matrix factorization
Deep dive

المصفوفة R (مستخدمين × عناصر) شبه فاضية (كل مستخدم تفاعل مع 0.01% من العناصر). الـ MF بيفترض إن كل مستخدم u ليه vector p_u بطول k وكل عنصر i ليه q_i، والتفضيل ≈ p_u · q_i. الـ k «أبعاد مخفية» الموديل بيتعلمها لوحده (مثلًا: «تقني مقابل إداري»، «مبتدئ مقابل متقدم») من غير ما حد يسميها.

R (users × items)5 · · 3 · ·· 4 · · · 1· · 2 · 5 ·mostly unknown≈P (u × k)×Qᵀ (k × items)score(u, i) = p_u · q_ik ≈ 32–256minimise squared error onknown cells + λ(‖p‖² + ‖q‖²)
R ≈ P × Qᵀ: a sparse user×item matrix approximated by two thin factor matrices
Pythonmf_sgd.py — explicit ratings, SGD (NumPy lab)
import numpy as np
rng = np.random.default_rng(42)

def train_mf(triples, n_users, n_items, k=16, lr=0.02, reg=0.05, epochs=30):
    P = 0.1 * rng.standard_normal((n_users, k))
    Q = 0.1 * rng.standard_normal((n_items, k))
    mu = np.mean([r for _, _, r in triples])                    # global bias
    bu, bi = np.zeros(n_users), np.zeros(n_items)               # user / item biases
    for _ in range(epochs):
        rng.shuffle(triples)
        for u, i, r in triples:
            pred = mu + bu[u] + bi[i] + P[u] @ Q[i]
            e = r - pred
            bu[u] += lr * (e - reg * bu[u])
            bi[i] += lr * (e - reg * bi[i])
            P[u], Q[i] = P[u] + lr * (e * Q[i] - reg * P[u]), Q[i] + lr * (e * P[u] - reg * Q[i])
    return mu, bu, bi, P, Q

def recommend(u, mu, bu, bi, P, Q, seen, n=10):
    scores = mu + bu[u] + bi + Q @ P[u]
    scores[list(seen)] = -np.inf                                 # never recommend what the user already has
    return np.argsort(-scores)[:n]
  • Biases: بعض المستخدمين بيقيّموا عالي دايمًا، وبعض العناصر محبوبة للكل؛ الـ biases بتشيل ده من الـ factors فبتتعلم «الذوق» نفسه.
  • Regularization (λ): من غيرها المستخدم اللي قيّم عنصرين بس بياخد vector متطرف (overfitting).
  • ALS: بدل SGD، ثبّت Q وحل P بـ least squares (closed form)، وبعدين العكس. بيتوزع كويس وهو الشائع للـ implicit feedback على بيانات كبيرة.
04

Implicit feedback: الـ clicks مش ratings

Learning from clicks and views
Deep dive

في أغلب المنتجات مفيش ratings؛ فيه views و clicks ومشتريات ووقت قراءة. ده implicit: وجود التفاعل إشارة إيجابية (بثقة متفاوتة)، لكن غيابه مش بالضرورة سلبي — يمكن المستخدم ما شافش العنصر.

  • Confidence weighting (Hu et al.): كل خلية ليها preference (0/1) و confidence = 1 + α·(عدد التفاعلات). الـ ALS بيتعامل مع كل الخلايا مع أوزان.
  • Negative sampling / BPR: لكل تفاعل إيجابي (u, i)، اختار عنصر عشوائي j ما اتفاعلش معاه، وعلّم الموديل score(u,i) > score(u,j). ده بيحسّن الترتيب مباشرة.
  • أوزان الإشارات: شراء > إضافة للسلة > click > impression. وقراءة مستند 3 دقايق أقوى من فتحه ثانيتين.
  • Exposure bias: الموديل بيتعلم من اللي الـ recommender القديم عرضه — بيتحول feedback loop. حل جزئي: نسبة صغيرة من الاستكشاف (عناصر عشوائية أو جديدة) وتسجيل الـ impressions.
05

الـ cold start

New users and new items
Practical
الحالةالحل
مستخدم جديد خالصpopularity per segment (بلد، لغة، خطة)، onboarding بيسأل عن الاهتمامات، ثم تحديث سريع بعد أول تفاعلات (session-based)
عنصر جديدcontent-based من خصائصه/embedding، و«boost» استكشافي محدود عشان يجمع تفاعلات
Tenant جديد في B2B SaaSمفيش تاريخ أصلًا: محتوى من الـ templates أو أفضل الممارسات العامة، وما تخلطش بيانات tenants تانيين (خصوصية!)

Hybrid models (زي LightFM أو two-tower بـ features) بتمثّل المستخدم والعنصر كمجموع embeddings الـ features بتاعتهم (فئة، tags، نص) + id embedding، فالعنصر الجديد ليه representation من الـ features من أول يوم.

06

Two-tower retrieval و ranking

Modern two-stage systems
Deep dive

Tower للمستخدم (تاريخه، context، الوقت) و tower للعنصر (خصائصه)، كل واحد بيطلع vector، والـ score = dot product. التدريب على أزواج (مستخدم، عنصر اتفاعل معاه) مع negatives من نفس الـ batch. الميزة الضخمة: vectors العناصر بتتحسب offline وتتحط في ANN index (HNSW) — نفس البنية بتاعة الـ RAG — فالـ retrieval من ملايين العناصر في milliseconds.

بعد كده ranker أتقل (gradient boosted trees أو شبكة) على ~500 candidate بـ features غنية (السعر، المسافة، الحداثة، تفاعل المستخدم مع الفئة، الـ context). وفي الآخر business rules: استبعاد اللي خلص من المخزن، التنوع (ما تعرضش 10 من نفس الماركة)، fairness للبائعين، والقيود القانونية.

07

التقييم: المكان اللي أغلب الناس بيغشوا فيه من غير قصد

Evaluating recommenders honestly
Deep dive
  • Temporal split: درّب على التفاعلات قبل تاريخ T، وقيّم على اللي بعده. الـ random split بيسرّب المستقبل (الموديل بيشوف تفاعل بكرة وهو بيتنبأ بالنهارده).
  • مقاييس ranking: precision@k، recall@k، nDCG@k، MAP — مش RMSE. المستخدم بيشوف أول 10 بس.
  • Beyond accuracy: coverage (نسبة الكتالوج اللي بيتقترح)، novelty (مش بس المشهور)، diversity جوه القائمة، و popularity bias.
  • قارن بالـ baselines على نفس الـ split. موديل MF بـ recall@10 = 0.18 مقابل popularity 0.16 — ده فرق صغير، يستاهل التعقيد؟
  • Online: A/B على metric بيزنس (CTR، تحويل، إيراد لكل جلسة، retention) مع guardrails (شكاوى، تنوع). الـ offline gains مش دايمًا بتترجم.
Pythonrecall_at_k with a temporal split
def recall_at_k(recs: dict, truth: dict, k=10):
    """recs: user -> ranked item list (from a model trained on data before T); truth: user -> set of items after T"""
    scores = [len(set(recs[u][:k]) & truth[u]) / len(truth[u]) for u in truth if truth[u] and u in recs]
    return sum(scores) / len(scores)
# Always print the same metric for the popularity baseline next to the model.
08

الخدمة من ASP.NET Core

Serving recommendations
Practical
C#RecommendationsEndpoint.cs: precomputed + real-time blend
app.MapGet("/api/recommendations", async (ITenantContext t, ClaimsPrincipal user, IRecoStore store, IVectorIndex index,
                                          IPopularity popular, CancellationToken ct) =>
{
    var uid = user.GetUserId();
    var recent = await store.RecentInteractionsAsync(t.TenantId, uid, take: 20, ct);
    IReadOnlyList<Guid> candidates;
    if (recent.Count < 3)
        candidates = await popular.TopAsync(t.TenantId, segment: user.Segment(), take: 50, ct);    // cold start
    else
    {
        var profile = Embeddings.WeightedMean(recent.Select(r => (r.ItemVector, r.Weight)));     // recency-weighted
        candidates = (await index.SearchAsync(profile, k: 200, filter: new() { ["tenant_id"] = t.TenantId.ToString() }, ct))
                     .Select(h => h.Id).ToList();
    }
    var ranked = Rules.Apply(candidates, exclude: recent.Select(r => r.ItemId), maxPerCategory: 3).Take(20);
    return Results.Ok(ranked);
}).RequireAuthorization().CacheOutput(p => p.Expire(TimeSpan.FromMinutes(5)).VaryByValue(ctx => ctx.User.GetUserId().ToString()));

الشكل الشائع: batch job ليلي (Python) بيتدرب ويطلّع item vectors وقوائم precomputed، والـ API بيعمل blend real-time مع الـ session الحالية. سجّل كل impression و click بـ request id ونسخة الموديل — من غيرها مفيش تقييم ولا تدريب جاي.

09

معمل صغير: popularity مقابل item-based CF بالأرقام

A small comparison lab
Practical
Pythoncompare.py — temporal split on an interactions log (user, item, ts)
import pandas as pd, numpy as np
from collections import defaultdict
from itertools import combinations

log = pd.read_parquet("interactions.parquet").sort_values("ts")
cut = log["ts"].quantile(0.8)
train, test = log[log.ts < cut], log[log.ts >= cut]
truth = test.groupby("user")["item"].apply(set).to_dict()
seen = train.groupby("user")["item"].apply(set).to_dict()

# 1) popularity baseline
pop = train["item"].value_counts().index.tolist()
rec_pop = {u: [i for i in pop if i not in seen.get(u, set())][:10] for u in truth}

# 2) item-item co-occurrence (sessions or users as baskets)
co = defaultdict(lambda: defaultdict(int))
for items in train.groupby("user")["item"].apply(lambda s: set(s.tail(50))):   # cap per user to limit O(n^2)
    for a, b in combinations(items, 2):
        co[a][b] += 1; co[b][a] += 1
def rec_cf(u, k=10):
    scores = defaultdict(float)
    for i in seen.get(u, set()):
        for j, c in co[i].items():
            if j not in seen[u]: scores[j] += c
    ranked = sorted(scores, key=scores.get, reverse=True)
    return (ranked + [i for i in pop if i not in seen.get(u, set()) and i not in ranked])[:k]   # backfill with popular
rec_co = {u: rec_cf(u) for u in truth}

def recall(recs, k=10):
    return np.mean([len(set(recs[u][:k]) & truth[u]) / len(truth[u]) for u in truth])
print("recall@10 popularity:", round(recall(rec_pop), 3), " co-occurrence:", round(recall(rec_co), 3))

النتيجة المعتادة على بيانات حقيقية: الـ co-occurrence بيكسب للمستخدمين اللي ليهم تاريخ، والـ popularity بيكسب للجداد — وعشان كده الـ backfill. اعرض الرقمين جنب بعض دايمًا، ومعاهم coverage (كام عنصر مختلف اتقترح).

10

الـ feedback loops والعدالة

Feedback loops and fairness
Basics

الـ recommender بيغير البيانات اللي هيتدرب عليها بعدين: اللي بيتعرض بياخد clicks، فيتعرض أكتر. النتيجة: popularity bias، العناصر الجديدة (أو البائعين الصغار) ما بتاخدش فرصة، والمستخدمين بيتحبسوا في نوع واحد. الضوابط: exploration بنسبة صغيرة، تنوع في القائمة، تسجيل الـ impressions والـ position (عشان الـ click في المركز الأول مش زي المركز العاشر)، ومراقبة توزيع الترشيحات على البائعين/الفئات. وفي B2B: ما تستخدمش سلوك tenant عشان تأثر على ترشيحات tenant تاني من غير اتفاق صريح.

11

أخطاء شائعة

Common mistakes
Basics
  • Random split بدل temporal ← أرقام offline خيالية.
  • RMSE على ratings كمقياس رئيسي لمنتج بيعرض top-10.
  • مفيش popularity baseline في المقارنة.
  • ترشيح العناصر اللي المستخدم اشتراها/شافها خلاص (إلا لو «buy again» مقصود).
  • عدم تسجيل الـ impressions ← مش عارف إيه اللي اتعرض واتجاهل.
  • خلط بيانات tenants في B2B لـ «تحسين» الموديل من غير اتفاق.
12

اختبر فهمك

Knowledge check
Basics

ليه temporal split ضروري في تقييم الـ recommenders؟

منتج جديد اتضاف للكتالوج النهارده. أنهي approach يقدر يرشحه فورًا؟

13

تمرين محلول

Worked exercise
Practical
«مستندات مقترحة» في الـ Capstone لكل مستخدم في tenant

الحل: جوه tenant واحد بس (خصوصية). Baseline: الأكتر قراءة في الـ tenant آخر 14 يوم + «كمّل من حيث وقفت». Content-based: profile = متوسط embeddings آخر 10 مستندات قرأها (موجودة أصلًا في الـ vector index)، والـ candidates = الجيران مع استبعاد المقروء. Signals: فتح (ضعيف)، قراءة > 60 ثانية (قوي)، سؤال عن المستند في الـ chat (قوي جدًا). Eval: temporal split، recall@5 مقارنة بالـ baseline، و A/B على «نسبة الجلسات اللي فيها فتح مستند مقترح». لو الـ tenants كبار وفيه تفاعلات كفاية، ALS per tenant كخطوة تالية.

14

أسئلة إنترفيو

Interview questions
Basics
(Mid) اشرح matrix factorization.
بنمثّل كل مستخدم وكل عنصر بـ vector صغير من latent factors بحيث الـ dot product يقرّب التفاعل المعروف؛ بنتعلمهم بـ SGD أو ALS مع regularization و biases، وبعدين الـ dot product مع العناصر اللي ما اتفاعلش معاها هو الترشيح.
(Senior) صمّم recommender لمتجر بـ 5M منتج و20M مستخدم.
مرحلتين: candidate generation من مصادر متعددة (two-tower ANN، co-occurrence، popular per segment، recently viewed) ← ranker بـ features غنية ← rules (مخزون، تنوع). تدريب batch يومي + features real-time من الـ session، تسجيل impressions، تقييم temporal offline، و A/B بـ guardrails. cold start بالـ content والـ segments.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس