صياغة المشكلة والبيانات
قبل اختيار algorithm، حدد القرار الذي تريد دعمه، من سيستخدم النتيجة، وما تكلفة false positive مقابل false negative. Dataset عبارة عن samples؛ كل sample له features، وقد يحمل label في supervised learning. Regression يتنبأ بقيمة مستمرة، Classification بفئة أو score، و Unsupervised learning يبحث عن structure دون labels.
افحص data dictionary، مصدر كل feature، وقت توفرها عند prediction، وحدود استخدامها القانونية. Feature لا تتوفر وقت inference تسبب leakage حتى لو حسّنت score في notebook.
import pandas as pd
df = pd.read_csv("customers.csv")
print(df.shape)
print(df.dtypes)
print(df.isna().mean().sort_values(ascending=False).head())
print(df["churn"].value_counts(normalize=True))الـ ML workflow في رسمة
Train و Validation و Test دون Leakage
قسّم البيانات قبل أي preprocessing يتعلم من distribution. Train لتعلم parameters، validation لاختيار hyperparameters والقرار، و test لتقدير نهائي لا تلمسه أثناء التطوير. في time series استخدم split زمنيًا؛ وفي العملاء أو المرضى قد تحتاج group split حتى لا يظهر نفس الكيان في train و test.
Data leakage قد يأتي من target-derived columns، duplicate records، normalization قبل split، feature من المستقبل، أو اختيار test مرارًا. استخدم Pipeline حتى يتم fit للـ imputer/scaler/encoder داخل كل training fold.
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42)
model = Pipeline([
("impute", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
("classifier", LogisticRegression(max_iter=1000))
])
model.fit(X_train, y_train)Baseline ثم نماذج بسيطة
ابدأ بـ baseline ساذج: predict mean/majority class أو business rule. لو نموذج معقد لا يتفوق بوضوح على baseline، راجع البيانات والهدف قبل زيادة التعقيد. Linear Regression تتعلم معاملات تقلل residual error؛ Logistic Regression تستخدم sigmoid/decision boundary لتصنيف احتمالي. Decision Tree تقسم features إلى قواعد، سهلة التفسير نسبيًا لكنها قد overfit. Random Forest تجمع أشجارًا لتقليل variance عبر bagging.
لا تفسر coefficient كسببية. افحص scaling و multicollinearity و outliers، واستخدم regularization: L1 قد ينتج sparsity، و L2 يقلل magnitudes بسلاسة.
from sklearn.dummy import DummyClassifier
from sklearn.ensemble import RandomForestClassifier
baseline = DummyClassifier(strategy="most_frequent")
baseline.fit(X_train, y_train)
forest = RandomForestClassifier(n_estimators=300, min_samples_leaf=3,
class_weight="balanced", random_state=42)
forest.fit(X_train, y_train)Cleaning و Encoding و Feature Engineering
افحص missingness: هل القيمة مفقودة عشوائيًا أم لها معنى؟ لا تملأ كل شيء بصفر تلقائيًا. Numeric features قد تحتاج median imputation و scaling؛ categorical features تحتاج OneHotEncoder أو encoding مناسب. لا تطبق encoding على test بشكل منفصل. Feature engineering يجب أن يحترم وقت التنبؤ ويُعاد بنفس المنطق في production.
تجنب identifiers كـ features إذا كانت تحفظ target leakage. راقب high-cardinality categories، rare values، skewed distributions، و outliers. ضع transformations داخل sklearn Pipeline و ColumnTransformer لضمان نفس preprocessing أثناء التدريب والتنبؤ.
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
numeric = Pipeline([("impute", SimpleImputer(strategy="median")),
("scale", StandardScaler())])
categorical = Pipeline([("impute", SimpleImputer(strategy="most_frequent")),
("encode", OneHotEncoder(handle_unknown="ignore"))])
preprocess = ColumnTransformer([
("num", numeric, numeric_columns),
("cat", categorical, categorical_columns)
])Evaluation Metrics و Confusion Matrix
Accuracy قد تكون مضللة في class imbalance. Precision: من التنبؤات الإيجابية كم كان صحيحًا؟ Recall: من الإيجابيات الحقيقية كم اكتشفنا؟ F1 يوازن بينهما. ROC-AUC يقيس ranking عبر thresholds، و PR-AUC قد يكون أوضح مع rare positives. Regression يستخدم MAE و RMSE و R²، ولكل مقياس سلوك مختلف تجاه outliers.
Threshold ليس دائمًا 0.5؛ اختَره حسب تكلفة الأخطاء وقدرة فريق المراجعة. راقب confusion matrix على validation، ثم ثبّت القرار قبل test. Calibration مهمة عندما تستخدم probabilities لاتخاذ قرارات مالية أو تشغيلية.
from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score
prob = model.predict_proba(X_test)[:, 1]
pred = (prob >= 0.35).astype(int) # threshold chosen on validation, illustrative
print(confusion_matrix(y_test, pred))
print(classification_report(y_test, pred, zero_division=0))
print("ROC-AUC:", roc_auc_score(y_test, prob))Confusion Matrix كقرار Business
افترض أن false negative يكلف 10 أضعاف false positive. Accuracy لا تمثل التكلفة. استخدم validation لتجربة thresholds، واحسب expected cost، precision/recall، وعدد الحالات التي يستطيع فريق المراجعة التعامل معها. ثبّت threshold قبل فتح test النهائي.
في class imbalance، راقب PR curve و precision at target recall. إذا تغير prevalence في الإنتاج، قد تتغير precision حتى لو بقي ranking quality ثابتًا. راقب calibration و re-evaluate على labels production بعد وصولها.
import numpy as np
from sklearn.metrics import confusion_matrix
cost_fp, cost_fn = 1, 10
for threshold in [0.2, 0.35, 0.5, 0.7]:
pred = (validation_prob >= threshold).astype(int)
tn, fp, fn, tp = confusion_matrix(y_validation, pred).ravel()
expected_cost = fp * cost_fp + fn * cost_fn
print(threshold, {"fp": fp, "fn": fn, "cost": expected_cost})Cross Validation و Hyperparameter Tuning
Cross-validation تقسم train إلى folds، وتكرر fit/evaluate لتقليل اعتمادك على split واحد. لا تستخدمها عشوائيًا مع time series أو grouped observations. Grid Search يجرب شبكة محددة، Randomized Search أكثر كفاءة عندما توجد مساحة كبيرة. Hyperparameters مثل depth و learning rate و regularization ليست learned weights.
Gradient Boosting يبني learners بالتتابع لتصحيح أخطاء السابق، مثل XGBoost/LightGBM، وغالبًا قوي على tabular data لكنه يحتاج tuning وقياس. KNN و Naive Bayes و SVM اعرف متى تناسب، و k-means للتجميع مع اختيار k وفهم حساسيته لل scale.
from sklearn.model_selection import RandomizedSearchCV, StratifiedKFold
from sklearn.ensemble import RandomForestClassifier
search = RandomizedSearchCV(
RandomForestClassifier(random_state=42),
{"n_estimators": [200, 400], "max_depth": [None, 8, 16],
"min_samples_leaf": [1, 3, 6]},
n_iter=8, cv=StratifiedKFold(5, shuffle=True, random_state=42),
scoring="average_precision", n_jobs=-1, random_state=42)
search.fit(X_train, y_train)
print(search.best_params_)Cross-validation بدون تسريب
أي preprocessing يتعلم من البيانات يجب أن يتكرر داخل كل fold. لو عملت imputation أو scaling على كامل dataset قبل cross-validation، فإحصاءات validation تسربت إلى train. استخدم Pipeline/ColumnTransformer ثم cross-validation على pipeline كاملة. في time series لا تعمل random shuffle؛ استخدم chronological split أو TimeSeriesSplit. في بيانات customers متعددة الصفوف استخدم group-aware split حتى لا يتكرر customer في train و validation.
اعمل data audit قبل التدريب: duplicates، leakage columns، target definition، timestamp boundaries، label delay، و sampling. اكتب tests تثبت أن features المتاحة وقت inference فقط هي المستخدمة.
from sklearn.model_selection import cross_validate, StratifiedKFold
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
result = cross_validate(model, X_train, y_train, cv=cv,
scoring=["precision", "recall", "f1", "roc_auc"],
return_train_score=True)
print({k: result[f"test_{k}"].mean() for k in ["precision", "recall", "f1", "roc_auc"]})لماذا نضع imputer داخل Pipeline؟
Feature Engineering و Data Leakage Checklist
لكل feature اكتب: source، timestamp availability، transformation، missing policy، owner، و whether it can be known at prediction time. Features مثل days_until_cancellation قد تبدو predictive لكنها تستخدم future information. Aggregates يجب أن تكون computed as-of prediction timestamp، لا من كامل history.
راجع leakage عبر duplicate entities بين splits، target encoding قبل cross-validation، normalization على كامل data، post-outcome columns، و labels generated with future windows. أنشئ tests تقارن feature timestamp ب prediction timestamp. في time-series، استخدم rolling windows لا تتجاوز cutoff.
Baseline Selection و Bias–Variance Diagnosis
لو train score و validation score منخفضان معًا فقد يكون underfitting أو features ضعيفة أو label noise. لو train عالٍ و validation منخفض فغالبًا overfitting أو distribution shift. Bias/variance trade-off يساعد على تفسير السلوك، لكنه ليس تشخيصًا وحيدًا؛ افحص data quality و split و metrics.
ابدأ Dummy baseline، ثم linear/logistic، ثم tree/forest/boosting حسب tabular problem. لا تقفز إلى neural networks لمجرد أنها AI. سجل training time و inference latency والـ memory بجانب quality حتى تختار نموذجًا قابلًا للتشغيل.
الخوارزميات الكلاسيكية جنب بعض: نفس البيانات، نتايج مختلفة
حفظ أسماء الخوارزميات مش بيفيد. اللي بيفيد إنك تعرف شكل الحدود اللي كل خوارزمية تقدر ترسمها، وده اللي بيحدد هتنجح في أنهي مشكلة. التجربة دي بتشغّل 8 موديلات على 3 مجموعات بيانات ليها أشكال مختلفة، بنفس التقييم.
import warnings; warnings.filterwarnings("ignore")
from sklearn.datasets import make_classification, make_circles, make_moons
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.naive_bayes import GaussianNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
datasets = {
"linear": make_classification(n_samples=600, n_features=2, n_redundant=0, n_informative=2, n_clusters_per_class=1, class_sep=1.2, random_state=1),
"moons": make_moons(n_samples=600, noise=0.25, random_state=1),
"circles": make_circles(n_samples=600, noise=0.12, factor=0.45, random_state=1),
}
models = {
"LogisticRegression": make_pipeline(StandardScaler(), LogisticRegression()),
"GaussianNB": GaussianNB(),
"KNN (k=15)": make_pipeline(StandardScaler(), KNeighborsClassifier(15)),
"SVM linear": make_pipeline(StandardScaler(), SVC(kernel="linear")),
"SVM RBF": make_pipeline(StandardScaler(), SVC(kernel="rbf")),
"DecisionTree (full)": DecisionTreeClassifier(random_state=0),
"RandomForest": RandomForestClassifier(n_estimators=200, random_state=0),
"GradientBoosting": GradientBoostingClassifier(random_state=0),
}
print(f"{'model':<22}" + "".join(f"{d:>9}" for d in datasets))
for name, model in models.items():
row = [cross_val_score(model, X, y, cv=5).mean() for X, y in datasets.values()]
print(f"{name:<22}" + "".join(f"{v:9.3f}" for v in row))model linear moons circles
LogisticRegression 0.945 0.852 0.463
GaussianNB 0.967 0.852 0.973
KNN (k=15) 0.962 0.932 0.982
SVM linear 0.960 0.848 0.512
SVM RBF 0.960 0.932 0.982
DecisionTree (full) 0.968 0.898 0.970
RandomForest 0.968 0.927 0.977
GradientBoosting 0.967 0.923 0.972اقرأ الجدول بالعمود: على البيانات الخطية كل الموديلات قريبة من بعض — يبقى اختار الأبسط والأسهل في التفسير. على circles الموديلات الخطية (Logistic، SVM linear) واقعة عند مستوى التخمين، لأن مفيش خط مستقيم يفصل دايرة جوه دايرة — مهما زودت البيانات.
GaussianNB على circles: نجح مع إنه «بسيط»، لأنه بيمثّل كل class بتوزيع له تباين مختلف، والحد بين توزيعين بتباينين مختلفين بيطلع منحني. الدرس: «بسيط» مش معناها «خطي».
| الموديل | شكل الحد | محتاج scaling؟ | قوي في | ضعيف في |
|---|---|---|---|---|
| Logistic Regression | خط/مستوى | أيوه (مع regularization) | baseline، تفسير، احتمالات calibrated | علاقات غير خطية من غير feature engineering |
| Naive Bayes | حسب التوزيع المفترض | لأ | نص (bag of words)، بيانات قليلة، سرعة | features مرتبطة ببعض؛ احتمالاته متطرفة |
| KNN | أي شكل (محلي) | ضروري | حدود معقدة ببيانات قليلة الأبعاد | أبعاد كتير، inference بطيء، حساس للـ noise |
| SVM (RBF) | منحني ناعم | ضروري | بيانات متوسطة الحجم، حدود معقدة | بيانات ضخمة (التدريب بيتقل بسرعة) |
| Decision Tree | درجات سلم موازية للمحاور | لأ | تفسير، تفاعلات بين features | overfitting لو اتساب يكبر |
| Random Forest | متوسط أشجار كتير | لأ | tabular بأقل ضبط، ثابت | حجم الموديل، extrapolation |
| Gradient Boosting (XGBoost / LightGBM / CatBoost) | مجموع أشجار صغيرة | لأ | أقوى اختيار عام للـ tabular | محتاج ضبط و early stopping |
التلاتة implementations لنفس فكرة الـ gradient boosting على الأشجار، بفروق هندسية: LightGBM بيكبّر الشجرة leaf-wise وسريع على البيانات الكبيرة، CatBoost بيتعامل مع الـ categorical features مباشرة بـ ordered target statistics، و XGBoost الأقدم والأوسع انتشارًا. HistGradientBoostingClassifier في scikit-learn من نفس العيلة (histogram-based) ومش محتاج مكتبة زيادة. المكتبات التلاتة مش متثبتة في بيئة تجهيز الموسوعة فمفيش مثال متنفذ ليهم هنا.
Bias–Variance بالأرقام: شجرة واحدة، أعماق مختلفة
from sklearn.datasets import make_moons
from sklearn.ensemble import BaggingClassifier, GradientBoostingClassifier
from sklearn.model_selection import cross_validate
from sklearn.tree import DecisionTreeClassifier
X, y = make_moons(n_samples=500, noise=0.35, random_state=3)
def scores(model):
r = cross_validate(model, X, y, cv=10, return_train_score=True)
return r["train_score"].mean(), r["test_score"].mean(), r["test_score"].std()
print(f"{'model':<34}{'train':>7}{'valid':>7}{'gap':>7}{'std':>7}")
for depth in (1, 2, 4, 8, None):
tr, va, sd = scores(DecisionTreeClassifier(max_depth=depth, random_state=0))
print(f"{'tree depth=' + str(depth):<34}{tr:7.3f}{va:7.3f}{tr - va:7.3f}{sd:7.3f}")
deep_tree = DecisionTreeClassifier(max_depth=None, random_state=0)
tr, va, sd = scores(BaggingClassifier(deep_tree, n_estimators=200, random_state=0))
print(f"{'bagging: 200 deep trees':<34}{tr:7.3f}{va:7.3f}{tr - va:7.3f}{sd:7.3f}")
tr, va, sd = scores(GradientBoostingClassifier(n_estimators=100, max_depth=2, learning_rate=0.1, random_state=0))
print(f"{'boosting: 100 shallow trees':<34}{tr:7.3f}{va:7.3f}{tr - va:7.3f}{sd:7.3f}")model train valid gap std
tree depth=1 0.801 0.768 0.033 0.058
tree depth=2 0.886 0.846 0.040 0.036
tree depth=4 0.896 0.838 0.058 0.035
tree depth=8 0.958 0.820 0.138 0.042
tree depth=None 1.000 0.810 0.190 0.040
bagging: 200 deep trees 1.000 0.860 0.140 0.037
boosting: 100 shallow trees 0.935 0.866 0.069 0.039depth=1 (underfitting / high bias): train و validation الاتنين واطيين وقريبين من بعض. الموديل أبسط من المشكلة؛ بيانات أكتر مش هتساعد.
depth=None (overfitting / high variance): train = 1.000 (حفظ كل نقطة بالـ noise بتاعها) والـ validation أقل بفرق كبير. الـ gap هو العَرَض.
Bagging: نفس الأشجار العميقة اللي كانت overfit، لكن 200 منها كل واحدة على عيّنة bootstrap، والتصويت بياخد المتوسط. أخطاء الأشجار الفردية مختلفة فبتلغي بعض: الـ validation طلع. دي فكرة الـ Random Forest (+ اختيار عشوائي للـ features عند كل split).
Boosting: العكس: أشجار ضحلة (high bias) بتتبني بالتسلسل، كل واحدة بتصلّح أخطاء اللي قبلها. بيقلل الـ bias تدريجيًا، وعشان كده محتاج early stopping عشان ما يكمّلش لحد ما يحفظ.
Unsupervised: K-Means و DBSCAN و PCA على بيانات تعرف إجابتها
import numpy as np
from sklearn.cluster import DBSCAN, KMeans
from sklearn.datasets import load_iris, make_blobs, make_moons
from sklearn.decomposition import PCA
from sklearn.metrics import adjusted_rand_score, silhouette_score
from sklearn.preprocessing import StandardScaler
blobs, yb = make_blobs(n_samples=600, centers=3, cluster_std=0.8, random_state=4)
moons, ym = make_moons(n_samples=600, noise=0.06, random_state=4)
print("Adjusted Rand Index vs the true grouping (1.0 = perfect, ~0 = random):")
for name, X, y, k in [("3 blobs", blobs, yb, 3), ("2 moons", moons, ym, 2)]:
Xs = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=k, n_init=10, random_state=0).fit_predict(Xs)
db = DBSCAN(eps=0.3, min_samples=5).fit_predict(Xs)
print(f" {name:<8} k-means={adjusted_rand_score(y, km):.2f} dbscan={adjusted_rand_score(y, db):.2f} (dbscan found {len(set(db) - {-1})} clusters, {int((db == -1).sum())} noise points)")
print("\nchoosing k on the blobs with the silhouette score (no labels needed):")
Xs = StandardScaler().fit_transform(blobs)
for k in range(2, 7):
labels = KMeans(n_clusters=k, n_init=10, random_state=0).fit_predict(Xs)
print(f" k={k} silhouette={silhouette_score(Xs, labels):.3f}")
iris = StandardScaler().fit_transform(load_iris().data)
pca = PCA().fit(iris)
print("\nPCA on iris (4 features): explained variance ratio per component =", np.round(pca.explained_variance_ratio_, 3))
print("cumulative =", np.round(np.cumsum(pca.explained_variance_ratio_), 3))Adjusted Rand Index vs the true grouping (1.0 = perfect, ~0 = random):
3 blobs k-means=0.99 dbscan=0.57 (dbscan found 2 clusters, 2 noise points)
2 moons k-means=0.49 dbscan=1.00 (dbscan found 2 clusters, 0 noise points)
choosing k on the blobs with the silhouette score (no labels needed):
k=2 silhouette=0.796
k=3 silhouette=0.619
k=4 silhouette=0.575
k=5 silhouette=0.543
k=6 silhouette=0.392
PCA on iris (4 features): explained variance ratio per component = [0.73 0.229 0.037 0.005]
cumulative = [0.73 0.958 0.995 1. ]K-Means على الـ moons فشل لأنه بيفترض إن كل cluster كورة حوالين مركز، وبيقسم الفضاء بخطوط مستقيمة بين المراكز. الهلالين متداخلين فمفيش خط يفصلهم. DBSCAN بيتبع الكثافة (نقطة قريبة من نقطة قريبة من نقطة…) فبيلقط أي شكل، ومش محتاج عدد الـ clusters مسبقًا — لكنه حساس جدًا لـ eps، ولازم scaling.
DBSCAN على الـ blobs دمج مجموعتين في واحدة (لقى 2 بس) لأن eps=0.3 كان واسع كفاية يوصّل بينهم. نفس الإعداد اللي نجح تمامًا على الـ moons فشل هنا — DBSCAN حساس جدًا لـ eps ومحتاج ضبط لكل dataset.
الـ silhouette اختار k=2 مش 3 — مع إننا عارفين إن الحقيقة 3. السبب إن مجموعتين من التلاتة قريبين من بعض، فدمجهم بيدّي clusters «أنضف» بالمقياس ده. الدرس: مقاييس الـ clustering الداخلية بتقيس شكل التقسيم مش صحته. استخدمها كمؤشر، والقرار النهائي بيعتمد على هل الـ clusters ليها معنى في الـ domain.
PCA: أول مكوّنين شايلين أغلب التباين في الـ 4 features. ده معناه إنك تقدر ترسم البيانات في بُعدين من غير ما تخسر كتير. تحذير: PCA بيحافظ على التباين مش على القدرة على التنبؤ — مكوّن تباينه صغير ممكن يكون هو اللي بيفرّق بين الـ classes.
هتعمل KNN على features: العمر (20–70) والدخل السنوي (20,000–500,000). لو نسيت الـ scaling؟
Hyperparameter Optimization: Grid ولا Random ولا Halving — والرقم اللي تصدّقه
الـ hyperparameters (عمق الشجرة، الـ learning rate، قوة الـ regularization) مش بتتعلم من البيانات — إنت اللي بتختارها. السؤالين المهمين: إزاي تدوّر بكفاءة؟ ولما تلاقي «أحسن إعداد»، هل الـ score بتاعه رقم تقدر تبلّغه؟
import time, warnings; warnings.filterwarnings("ignore")
import numpy as np
from scipy.stats import loguniform, randint
from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.experimental import enable_halving_search_cv # noqa: F401
from sklearn.model_selection import GridSearchCV, HalvingRandomSearchCV, RandomizedSearchCV, cross_val_score, train_test_split
X, y = make_classification(n_samples=1500, n_features=20, n_informative=5, flip_y=0.1, random_state=0)
X_dev, X_test, y_dev, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
base = GradientBoostingClassifier(random_state=0)
grid = {"learning_rate": [0.01, 0.1, 0.5], "max_depth": [1, 3, 5], "n_estimators": [50, 150], "subsample": [0.6, 1.0]} # 36 combos
dist = {"learning_rate": loguniform(0.005, 0.5), "max_depth": randint(1, 7), "n_estimators": randint(30, 200), "subsample": [0.6, 0.8, 1.0]}
def run(name, search):
t0 = time.perf_counter(); search.fit(X_dev, y_dev)
fits = len(search.cv_results_["params"])
print(f"{name:<34} configs tried={fits:>3} best CV={search.best_score_:.4f} held-out test={search.score(X_test, y_test):.4f} time={time.perf_counter() - t0:5.1f}s")
return search
print("search on the development set (3-fold CV, metric = accuracy):")
run("grid search (36 configs)", GridSearchCV(base, grid, cv=3, n_jobs=-1))
best = run("random search (36 configs)", RandomizedSearchCV(base, dist, n_iter=36, cv=3, random_state=0, n_jobs=-1))
halving_space = {k: v for k, v in dist.items() if k != "n_estimators"} # n_estimators is the resource being rationed
run("successive halving (random start)", HalvingRandomSearchCV(base, halving_space, cv=3, factor=3, resource="n_estimators",
max_resources=200, min_resources=20, random_state=0, n_jobs=-1))
print("\nbest random-search config:", {k: (round(float(v), 4) if isinstance(v, float) else int(v)) for k, v in best.best_params_.items()})
# ---------- is "best CV score" an honest estimate? nested CV says how optimistic it is ----------
inner = RandomizedSearchCV(base, dist, n_iter=12, cv=3, random_state=0, n_jobs=-1)
nested = cross_val_score(inner, X_dev, y_dev, cv=4) # the WHOLE search is repeated inside each outer fold
inner.fit(X_dev, y_dev)
print(f"\nrandom search (12 configs): best inner-CV score = {inner.best_score_:.4f}")
print(f"nested CV estimate of the tuned pipeline = {nested.mean():.4f} ± {nested.std():.4f}")
print(f"held-out test score = {inner.score(X_test, y_test):.4f}")search on the development set (3-fold CV, metric = accuracy):
grid search (36 configs) configs tried= 36 best CV=0.8552 held-out test=0.8533 time= 16.7s
random search (36 configs) configs tried= 36 best CV=0.8629 held-out test=0.8644 time= 19.9s
successive halving (random start) configs tried= 16 best CV=0.8571 held-out test=0.8578 time= 5.1s
best random-search config: {'learning_rate': 0.0215, 'max_depth': 6, 'n_estimators': 199, 'subsample': 0.6}
random search (12 configs): best inner-CV score = 0.8476
nested CV estimate of the tuned pipeline = 0.8476 ± 0.0142
held-out test score = 0.8400Grid vs Random بنفس الميزانية: الـ grid بيجرّب 3 قيم بس للـ learning rate مهما زاد عدد التجارب؛ الـ random بيجرّب 36 قيمة مختلفة لكل parameter. لما parameter واحد أو اتنين هم اللي بيفرقوا (وده الغالب)، الـ random بيغطيهم أحسن. استخدم توزيع log-uniform للـ parameters اللي بتتغير بالمضاعفات (learning rate، C، alpha).
Successive halving: ابدأ بإعدادات كتير بموارد قليلة (هنا عدد أشجار صغير)، ارمي الأضعف، وزوّد الموارد للباقي. هنا وصل لنتيجة قريبة من الـ random search في حوالي ربع الوقت. الـ Bayesian optimization (Optuna وغيره) بياخد خطوة أبعد: بيستخدم نتايج التجارب السابقة عشان يختار التجربة الجاية — مفيد لما كل تجربة غالية.
الرقم اللي تصدّقه: «best CV score» هو أعلى رقم من N محاولة على نفس الـ folds، فمن حيث المبدأ فيه جزء حظ. الـ nested CV بيكرر البحث كله جوه كل fold خارجي فبيدّي تقدير أمين لأداء «الـ pipeline بالـ tuning بتاعه». في التجربة دي الرقمين طلعوا متطابقين تقريبًا (12 إعداد بس على 1050 صف — التفاؤل صغير)، والـ test set المعزول أقل منهم بحوالي نقطة وجوه هامش الـ ±0.014. التفاؤل بيكبر كل ما عدد الإعدادات يزيد والبيانات تقل: مع مئات التجارب على مئات الصفوف الفرق بيبقى واضح. القاعدة ثابتة: الرقم اللي بتبلّغه ييجي من بيانات ما شاركتش في الاختيار.
جرّبت 500 إعداد واخترت الأحسن بـ CV score = 0.94، وبلّغت الرقم ده كأداء الموديل. إيه المشكلة؟
اختبر فهمك
هل نعمل scaling على كامل dataset قبل train/test split؟
متى تكون Recall أهم من Precision؟
اختبار الإتقان المهني
لماذا نضع preprocessing داخل cross-validation pipeline؟
متى يكون Group Split أفضل من random split؟
ما الفرق بين empirical risk و expected risk؟
Supervised Learning Objective and Empirical Risk
Supervised dataset هو أزواج (xᵢ,yᵢ). النموذج fθ يحول x إلى prediction، و training يختار θ لتقليل empirical risk: متوسط loss على training examples، مع regularization عند الحاجة. الهدف ليس حفظ training data بل تقليل expected risk على future samples من distribution الهدف. هذا هو سبب وجود train/validation/test، وسبب أن dataset shift يجعل الأداء يتغير بعد النشر.
Regularization يضيف penalty مثل L1 أو L2 إلى objective. L2 يدفع weights إلى قيم أصغر وغالبًا يحسن الاستقرار، و L1 قد ينتج sparsity. لكن regularization لا يعالج leakage أو labels فاسدة أو split غير ممثل. افهم العلاقة بين objective و business metric: تحسين log-loss لا يضمن تلقائيًا زيادة revenue.
# A tiny linear regression objective with L2 regularization
import numpy as np
X = np.array([[1., 1.], [1., 2.], [1., 3.]])
y = np.array([2., 4., 6.])
theta = np.linalg.solve(X.T @ X + 0.1*np.eye(2), X.T @ y)
pred = X @ theta
mse = np.mean((pred-y)**2)
print(np.round(theta, 3), round(mse, 4))Train / Validation / Test Protocols and Group Splits
Random split مناسب فقط عندما تكون observations مستقلة وممثلة. لو عدة rows لنفس customer أو patient أو device، استخدم group split حتى لا يتعلم النموذج هوية الكيان من train ثم يراه في test. في time series استخدم chronological split، وقد تحتاج gap/embargo لمنع تداخل label windows. Stratification تحافظ تقريبًا على class proportions لكنها لا تحل group/time leakage.
Test set يظل مغلقًا حتى نهاية اختيار model/hyperparameters. إذا رجعت إليه بعد كل تعديل فهو أصبح validation set ضمنيًا. احتفظ ب split manifest يحدد row IDs أو entity IDs وإصدار البيانات والبذرة، وراجع duplicates قبل التقسيم وبعده.
from sklearn.model_selection import GroupShuffleSplit
import numpy as np
X = np.arange(24).reshape(12, 2)
y = np.array([0,1]*6)
groups = np.repeat(np.arange(6), 2) # two rows per customer
splitter = GroupShuffleSplit(n_splits=1, test_size=.33, random_state=7)
train_idx, test_idx = next(splitter.split(X, y, groups))
assert set(groups[train_idx]).isdisjoint(set(groups[test_idx]))
print(len(train_idx), len(test_idx))Preprocessing Pipelines and Leakage-Safe Cross Validation
Imputation، scaling، encoding، feature selection، PCA، target encoding كلها transforms قد تتعلم parameters من data. القاعدة: fit على training fold فقط، ثم transform على validation/test. استخدام Pipeline من scikit-learn يجعل preprocessing جزءًا من estimator ويقلل فرص leakage داخل cross-validation. لا تعمل fit_transform على كامل dataset قبل تقسيمها.
ColumnTransformer يسمح بمعالجة numeric و categorical features بطرق مختلفة. تعامل مع unseen categories، missingness، sparse matrices، و schema drift. عند deployment خزّن preprocessing مع model artifact؛ model بدون نفس transform ليس نفس النظام.
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.linear_model import LogisticRegression
numeric = Pipeline([('impute', SimpleImputer(strategy='median')), ('scale', StandardScaler())])
categorical = Pipeline([('impute', SimpleImputer(strategy='most_frequent')), ('encode', OneHotEncoder(handle_unknown='ignore'))])
pre = ColumnTransformer([('num', numeric, ['age']), ('cat', categorical, ['city'])])
model = Pipeline([('pre', pre), ('clf', LogisticRegression(max_iter=1000))])
# Fit model.fit(X_train, y_train); evaluate only on held-out X_valid.Learning Curves, Error Analysis and Data-Centric Iteration
Learning curve تقارن training/validation performance مع زيادة training data أو model capacity. High train and validation error غالبًا high bias/underfitting؛ low train error مع high validation error غالبًا variance/overfitting. لكن افحص label noise، split mismatch، class imbalance، و feature availability قبل التشخيص.
Error analysis يعني فحص عينات فشل النموذج وتصنيف أسبابها: ambiguous label، missing feature، rare subgroup، bad OCR، temporal shift، أو threshold choice. أنشئ slices حسب language/region/device/customer segment مع حماية الخصوصية. التحسين الجيد غالبًا يبدأ بإصلاح dataset أو labeling guideline بدل تبديل model عشوائيًا.
# A simple slice-based error report
import numpy as np
truth = np.array([1,0,1,1,0,0,1,0])
pred = np.array([1,1,0,1,0,1,1,0])
segment = np.array(['A','A','A','B','B','B','B','A'])
for group in np.unique(segment):
mask = segment == group
error_rate = np.mean(truth[mask] != pred[mask])
print(group, int(mask.sum()), round(float(error_rate), 3))المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خريطة التغطية: 36 عنصر من الـ Roadmap ومكان شرحه في الدرس
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.