المشكلة و baselines لازم تغلبها
عندك مستخدمين وعناصر (منتجات، مستندات، كورسات) وتاريخ تفاعلات. المطلوب: لكل مستخدم، رتّب العناصر اللي غالبًا هيتفاعل معاها. قبل أي ML، ابني baselines — وهتتفاجئ إن «الأكتر شعبية» بيغلب موديلات كتير معمولة غلط.
| Baseline | الفكرة | ليه مهم |
|---|---|---|
| Popularity | الأكتر تفاعلًا في آخر 7 أيام | صعب جدًا يتغلب على مستخدمين جدد؛ أي موديل لازم يكسبه |
| Popular per segment | الأكتر شعبية في فئة/بلد/خطة المستخدم | تخصيص رخيص |
| Recently viewed / buy again | اللي المستخدم شافه أو اشتراه قبل كده | قوي جدًا في البقالة والمستندات المتكررة |
| Co-occurrence | «اللي اشتروا X اشتروا Y» من الـ baskets | item-based CF بأبسط شكل |
Content-based مقابل collaborative filtering
| Content-based | Collaborative filtering | |
|---|---|---|
| بيعتمد على | خصائص العنصر (نص، فئة، tags، embeddings) | سلوك المستخدمين بس (مين تفاعل مع إيه) |
| عنصر جديد | يشتغل فورًا (عنده خصائص) | cold start: محدش تفاعل معاه لسه |
| الاكتشاف | «المزيد من نفس الشيء» (filter bubble) | بيكتشف علاقات غير متوقعة («اللي بيحبوا X بيحبوا Y المختلف») |
| يحتاج | features كويسة | تفاعلات كفاية (كثافة البيانات) |
Content-based بالـ embeddings: نفس embeddings الـ RAG! embed وصف كل مستند/منتج، ولكل مستخدم profile = متوسط embeddings اللي تفاعل معاهم (مع وزن للأحدث)، والترشيح = أقرب جيران في الـ vector index. ده يبنى في يوم على البنية اللي عندك.
Item-based CF: تشابه العنصرين = تشابه مجموعة المستخدمين اللي تفاعلوا معاهم (cosine على أعمدة مصفوفة user×item). أثبت من user-based لأن العناصر بتتغير أبطأ من المستخدمين، وبيتحسب offline.
Matrix factorization: الـ latent factors
المصفوفة R (مستخدمين × عناصر) شبه فاضية (كل مستخدم تفاعل مع 0.01% من العناصر). الـ MF بيفترض إن كل مستخدم u ليه vector p_u بطول k وكل عنصر i ليه q_i، والتفضيل ≈ p_u · q_i. الـ k «أبعاد مخفية» الموديل بيتعلمها لوحده (مثلًا: «تقني مقابل إداري»، «مبتدئ مقابل متقدم») من غير ما حد يسميها.
import numpy as np
rng = np.random.default_rng(42)
def train_mf(triples, n_users, n_items, k=16, lr=0.02, reg=0.05, epochs=30):
P = 0.1 * rng.standard_normal((n_users, k))
Q = 0.1 * rng.standard_normal((n_items, k))
mu = np.mean([r for _, _, r in triples]) # global bias
bu, bi = np.zeros(n_users), np.zeros(n_items) # user / item biases
for _ in range(epochs):
rng.shuffle(triples)
for u, i, r in triples:
pred = mu + bu[u] + bi[i] + P[u] @ Q[i]
e = r - pred
bu[u] += lr * (e - reg * bu[u])
bi[i] += lr * (e - reg * bi[i])
P[u], Q[i] = P[u] + lr * (e * Q[i] - reg * P[u]), Q[i] + lr * (e * P[u] - reg * Q[i])
return mu, bu, bi, P, Q
def recommend(u, mu, bu, bi, P, Q, seen, n=10):
scores = mu + bu[u] + bi + Q @ P[u]
scores[list(seen)] = -np.inf # never recommend what the user already has
return np.argsort(-scores)[:n]- Biases: بعض المستخدمين بيقيّموا عالي دايمًا، وبعض العناصر محبوبة للكل؛ الـ biases بتشيل ده من الـ factors فبتتعلم «الذوق» نفسه.
- Regularization (λ): من غيرها المستخدم اللي قيّم عنصرين بس بياخد vector متطرف (overfitting).
- ALS: بدل SGD، ثبّت Q وحل P بـ least squares (closed form)، وبعدين العكس. بيتوزع كويس وهو الشائع للـ implicit feedback على بيانات كبيرة.
Implicit feedback: الـ clicks مش ratings
في أغلب المنتجات مفيش ratings؛ فيه views و clicks ومشتريات ووقت قراءة. ده implicit: وجود التفاعل إشارة إيجابية (بثقة متفاوتة)، لكن غيابه مش بالضرورة سلبي — يمكن المستخدم ما شافش العنصر.
- Confidence weighting (Hu et al.): كل خلية ليها preference (0/1) و confidence = 1 + α·(عدد التفاعلات). الـ ALS بيتعامل مع كل الخلايا مع أوزان.
- Negative sampling / BPR: لكل تفاعل إيجابي (u, i)، اختار عنصر عشوائي j ما اتفاعلش معاه، وعلّم الموديل score(u,i) > score(u,j). ده بيحسّن الترتيب مباشرة.
- أوزان الإشارات: شراء > إضافة للسلة > click > impression. وقراءة مستند 3 دقايق أقوى من فتحه ثانيتين.
- Exposure bias: الموديل بيتعلم من اللي الـ recommender القديم عرضه — بيتحول feedback loop. حل جزئي: نسبة صغيرة من الاستكشاف (عناصر عشوائية أو جديدة) وتسجيل الـ impressions.
الـ cold start
| الحالة | الحل |
|---|---|
| مستخدم جديد خالص | popularity per segment (بلد، لغة، خطة)، onboarding بيسأل عن الاهتمامات، ثم تحديث سريع بعد أول تفاعلات (session-based) |
| عنصر جديد | content-based من خصائصه/embedding، و«boost» استكشافي محدود عشان يجمع تفاعلات |
| Tenant جديد في B2B SaaS | مفيش تاريخ أصلًا: محتوى من الـ templates أو أفضل الممارسات العامة، وما تخلطش بيانات tenants تانيين (خصوصية!) |
Hybrid models (زي LightFM أو two-tower بـ features) بتمثّل المستخدم والعنصر كمجموع embeddings الـ features بتاعتهم (فئة، tags، نص) + id embedding، فالعنصر الجديد ليه representation من الـ features من أول يوم.
Two-tower retrieval و ranking
Tower للمستخدم (تاريخه، context، الوقت) و tower للعنصر (خصائصه)، كل واحد بيطلع vector، والـ score = dot product. التدريب على أزواج (مستخدم، عنصر اتفاعل معاه) مع negatives من نفس الـ batch. الميزة الضخمة: vectors العناصر بتتحسب offline وتتحط في ANN index (HNSW) — نفس البنية بتاعة الـ RAG — فالـ retrieval من ملايين العناصر في milliseconds.
بعد كده ranker أتقل (gradient boosted trees أو شبكة) على ~500 candidate بـ features غنية (السعر، المسافة، الحداثة، تفاعل المستخدم مع الفئة، الـ context). وفي الآخر business rules: استبعاد اللي خلص من المخزن، التنوع (ما تعرضش 10 من نفس الماركة)، fairness للبائعين، والقيود القانونية.
التقييم: المكان اللي أغلب الناس بيغشوا فيه من غير قصد
- Temporal split: درّب على التفاعلات قبل تاريخ T، وقيّم على اللي بعده. الـ random split بيسرّب المستقبل (الموديل بيشوف تفاعل بكرة وهو بيتنبأ بالنهارده).
- مقاييس ranking: precision@k، recall@k، nDCG@k، MAP — مش RMSE. المستخدم بيشوف أول 10 بس.
- Beyond accuracy: coverage (نسبة الكتالوج اللي بيتقترح)، novelty (مش بس المشهور)، diversity جوه القائمة، و popularity bias.
- قارن بالـ baselines على نفس الـ split. موديل MF بـ recall@10 = 0.18 مقابل popularity 0.16 — ده فرق صغير، يستاهل التعقيد؟
- Online: A/B على metric بيزنس (CTR، تحويل، إيراد لكل جلسة، retention) مع guardrails (شكاوى، تنوع). الـ offline gains مش دايمًا بتترجم.
def recall_at_k(recs: dict, truth: dict, k=10):
"""recs: user -> ranked item list (from a model trained on data before T); truth: user -> set of items after T"""
scores = [len(set(recs[u][:k]) & truth[u]) / len(truth[u]) for u in truth if truth[u] and u in recs]
return sum(scores) / len(scores)
# Always print the same metric for the popularity baseline next to the model.الخدمة من ASP.NET Core
app.MapGet("/api/recommendations", async (ITenantContext t, ClaimsPrincipal user, IRecoStore store, IVectorIndex index,
IPopularity popular, CancellationToken ct) =>
{
var uid = user.GetUserId();
var recent = await store.RecentInteractionsAsync(t.TenantId, uid, take: 20, ct);
IReadOnlyList<Guid> candidates;
if (recent.Count < 3)
candidates = await popular.TopAsync(t.TenantId, segment: user.Segment(), take: 50, ct); // cold start
else
{
var profile = Embeddings.WeightedMean(recent.Select(r => (r.ItemVector, r.Weight))); // recency-weighted
candidates = (await index.SearchAsync(profile, k: 200, filter: new() { ["tenant_id"] = t.TenantId.ToString() }, ct))
.Select(h => h.Id).ToList();
}
var ranked = Rules.Apply(candidates, exclude: recent.Select(r => r.ItemId), maxPerCategory: 3).Take(20);
return Results.Ok(ranked);
}).RequireAuthorization().CacheOutput(p => p.Expire(TimeSpan.FromMinutes(5)).VaryByValue(ctx => ctx.User.GetUserId().ToString()));الشكل الشائع: batch job ليلي (Python) بيتدرب ويطلّع item vectors وقوائم precomputed، والـ API بيعمل blend real-time مع الـ session الحالية. سجّل كل impression و click بـ request id ونسخة الموديل — من غيرها مفيش تقييم ولا تدريب جاي.
معمل صغير: popularity مقابل item-based CF بالأرقام
import pandas as pd, numpy as np
from collections import defaultdict
from itertools import combinations
log = pd.read_parquet("interactions.parquet").sort_values("ts")
cut = log["ts"].quantile(0.8)
train, test = log[log.ts < cut], log[log.ts >= cut]
truth = test.groupby("user")["item"].apply(set).to_dict()
seen = train.groupby("user")["item"].apply(set).to_dict()
# 1) popularity baseline
pop = train["item"].value_counts().index.tolist()
rec_pop = {u: [i for i in pop if i not in seen.get(u, set())][:10] for u in truth}
# 2) item-item co-occurrence (sessions or users as baskets)
co = defaultdict(lambda: defaultdict(int))
for items in train.groupby("user")["item"].apply(lambda s: set(s.tail(50))): # cap per user to limit O(n^2)
for a, b in combinations(items, 2):
co[a][b] += 1; co[b][a] += 1
def rec_cf(u, k=10):
scores = defaultdict(float)
for i in seen.get(u, set()):
for j, c in co[i].items():
if j not in seen[u]: scores[j] += c
ranked = sorted(scores, key=scores.get, reverse=True)
return (ranked + [i for i in pop if i not in seen.get(u, set()) and i not in ranked])[:k] # backfill with popular
rec_co = {u: rec_cf(u) for u in truth}
def recall(recs, k=10):
return np.mean([len(set(recs[u][:k]) & truth[u]) / len(truth[u]) for u in truth])
print("recall@10 popularity:", round(recall(rec_pop), 3), " co-occurrence:", round(recall(rec_co), 3))النتيجة المعتادة على بيانات حقيقية: الـ co-occurrence بيكسب للمستخدمين اللي ليهم تاريخ، والـ popularity بيكسب للجداد — وعشان كده الـ backfill. اعرض الرقمين جنب بعض دايمًا، ومعاهم coverage (كام عنصر مختلف اتقترح).
الـ feedback loops والعدالة
الـ recommender بيغير البيانات اللي هيتدرب عليها بعدين: اللي بيتعرض بياخد clicks، فيتعرض أكتر. النتيجة: popularity bias، العناصر الجديدة (أو البائعين الصغار) ما بتاخدش فرصة، والمستخدمين بيتحبسوا في نوع واحد. الضوابط: exploration بنسبة صغيرة، تنوع في القائمة، تسجيل الـ impressions والـ position (عشان الـ click في المركز الأول مش زي المركز العاشر)، ومراقبة توزيع الترشيحات على البائعين/الفئات. وفي B2B: ما تستخدمش سلوك tenant عشان تأثر على ترشيحات tenant تاني من غير اتفاق صريح.
أخطاء شائعة
- Random split بدل temporal ← أرقام offline خيالية.
- RMSE على ratings كمقياس رئيسي لمنتج بيعرض top-10.
- مفيش popularity baseline في المقارنة.
- ترشيح العناصر اللي المستخدم اشتراها/شافها خلاص (إلا لو «buy again» مقصود).
- عدم تسجيل الـ impressions ← مش عارف إيه اللي اتعرض واتجاهل.
- خلط بيانات tenants في B2B لـ «تحسين» الموديل من غير اتفاق.
اختبر فهمك
ليه temporal split ضروري في تقييم الـ recommenders؟
منتج جديد اتضاف للكتالوج النهارده. أنهي approach يقدر يرشحه فورًا؟
تمرين محلول
«مستندات مقترحة» في الـ Capstone لكل مستخدم في tenant
الحل: جوه tenant واحد بس (خصوصية). Baseline: الأكتر قراءة في الـ tenant آخر 14 يوم + «كمّل من حيث وقفت». Content-based: profile = متوسط embeddings آخر 10 مستندات قرأها (موجودة أصلًا في الـ vector index)، والـ candidates = الجيران مع استبعاد المقروء. Signals: فتح (ضعيف)، قراءة > 60 ثانية (قوي)، سؤال عن المستند في الـ chat (قوي جدًا). Eval: temporal split، recall@5 مقارنة بالـ baseline، و A/B على «نسبة الجلسات اللي فيها فتح مستند مقترح». لو الـ tenants كبار وفيه تفاعلات كفاية، ALS per tenant كخطوة تالية.
أسئلة إنترفيو
(Mid) اشرح matrix factorization.
(Senior) صمّم recommender لمتجر بـ 5M منتج و20M مستخدم.
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.