القيادة التقنية من غير لقب مدير
الـ Senior والـ Staff engineer مش «مبرمج أسرع». التأثير بيتحرك من الكود اللي بتكتبه للقرارات اللي بتساعد فرق تاخدها: إيه اللي يتبني، إزاي يتقاس، إزاي نشحن بأمان، وإزاي الناس حواليك بتكبر. الدرس ده عملي: أدوات، قوالب، أرقام، وأخطاء شائعة — مش نصايح عامة.
DORA metrics: قياس الـ delivery
| المقياس | بيقيس | إزاي تحسبه |
|---|---|---|
| Deployment frequency | السرعة (throughput) | عدد الـ deploys للإنتاج في الفترة |
| Lead time for changes | السرعة | من الـ commit لحد ما يبقى في الإنتاج (توزيع، مش متوسط) |
| Change failure rate | الاستقرار | نسبة الـ deploys اللي سببت حادثة/rollback/hotfix |
| Time to restore service | الاستقرار | من بداية الحادثة لحد رجوع الخدمة |
أبحاث DORA على مدى سنين لقت إن السرعة والاستقرار غالبًا بيتحسنوا مع بعض في الفرق عالية الأداء (مش trade-off) — والسبب الأساسي batches صغيرة وأتمتة. المعمل تحت بيحاكي العلاقة دي (هي مفترضة جوه المحاكاة، مش مثبتة بيها) عشان تشوف إزاي الأرقام بتتحسب وإزاي المتوسطات بتضلل:
import random, statistics
from datetime import datetime, timedelta
random.seed(6)
START = datetime(2026, 9, 1)
def simulate(team, deploys_per_week, batch_commits, fail_p, restore_h):
"""Generate 12 weeks of deployments for one team. Bigger batches -> longer lead time and more failures."""
deploys, incidents = [], []
t = START
while t < START + timedelta(weeks=12):
t += timedelta(hours=random.expovariate(deploys_per_week / (7 * 24)))
commits = [t - timedelta(hours=random.uniform(2, 24 * batch_commits)) for _ in range(random.randint(1, batch_commits * 3))]
failed = random.random() < fail_p
deploys.append({"at": t, "commits": commits, "failed": failed})
if failed:
incidents.append({"start": t, "restored": t + timedelta(hours=random.lognormvariate(restore_h, 0.8))})
return team, deploys, incidents
def dora(deploys, incidents):
weeks = 12
lead = [ (d["at"] - c).total_seconds() / 3600 for d in deploys for c in d["commits"] ]
restore = [ (i["restored"] - i["start"]).total_seconds() / 3600 for i in incidents ]
return {
"deploys/week": round(len(deploys) / weeks, 1),
"lead time p50 (h)": round(statistics.median(lead), 1),
"lead time p90 (h)": round(sorted(lead)[int(len(lead) * .9)], 1),
"change failure rate": f"{sum(d['failed'] for d in deploys) / len(deploys):.0%}",
"time to restore p50 (h)": round(statistics.median(restore), 1) if restore else None,
"time to restore MEAN (h)": round(statistics.mean(restore), 1) if restore else None,
}
for args in (("team-small-batches", 15, 1, 0.06, 0.0), ("team-big-batches", 1.5, 10, 0.25, 1.2)):
team, d, i = simulate(*args)
print(team, dora(d, i))
print("note: one long outage drags the MEAN restore time; report medians/percentiles and look at the tail separately")team-small-batches {'deploys/week': 15.2, 'lead time p50 (h)': 13.0, 'lead time p90 (h)': 22.0, 'change failure rate': '5%', 'time to restore p50 (h)': 1.5, 'time to restore MEAN (h)': 1.6}
team-big-batches {'deploys/week': 1.8, 'lead time p50 (h)': 115.7, 'lead time p90 (h)': 217.3, 'change failure rate': '33%', 'time to restore p50 (h)': 2.1, 'time to restore MEAN (h)': 3.4}
note: one long outage drags the MEAN restore time; report medians/percentiles and look at the tail separatelyلما الـ deployment frequency تبقى KPI بمكافأة، الفرق بتعمل deploys فاضية. لما الـ change failure rate تبقى KPI، الحوادث بتتسجل أقل. استخدم DORA لتشخيص النظام وتحسينه، مش لتقييم الأفراد أو مقارنة الفرق ببعض. ومعاها SPACE (Satisfaction، Performance، Activity، Communication، Efficiency) عشان ما تبصش على بُعد واحد — مثلًا سرعة عالية مع burnout مش نجاح.
Trunk-based development وإدارة الـ releases
الفكرة: الكل بيدمج في main مرة يوميًا على الأقل بـ PRs صغيرة؛ الشغل اللي لسه ما خلصش مستخبي ورا feature flag. مفيش branches طويلة بتتدمج بعد أسابيع بـ conflicts و bugs. الـ release بقى قرار تشغيلي (قلب flag) مش حدث دمج.
on:
push: { branches: [main] }
jobs:
build-test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-dotnet@v4
with: { dotnet-version: "9.0.x" }
- run: dotnet test --configuration Release
- run: python evals/run.py --tier smoke # AI changes gated like code
deploy-staging:
needs: build-test
environment: staging
steps: [ { run: ./deploy.sh staging } , { run: ./smoke.sh staging } ]
deploy-prod:
needs: deploy-staging
environment: production # protection rules: required reviewers / wait timer
steps: [ { run: ./deploy.sh production --strategy canary --percent 10 }, { run: ./verify-slo.sh --minutes 30 } ]- Feature flags ليها lifecycle: كل flag ليه owner وتاريخ إزالة؛ flags قديمة = tech debt (فروع منطقية ما حدش فاكرها).
- Database migrations بنمط expand/contract: أضف العمود (متوافق مع الكود القديم) ← deploy الكود الجديد ← backfill ← شيل القديم في release لاحق. عشان rollback الكود يبقى آمن.
- Release notes بتتولد من PR titles/labels، و changelog للعملاء للتغييرات الظاهرة.
Incident management والـ on-call
| Severity | مثال | Response |
|---|---|---|
| SEV1 | الخدمة واقفة لكل العملاء / تسريب بيانات | فوري، IC معيّن، تحديث للعملاء كل 30 دقيقة، قيادة متبلّغة |
| SEV2 | feature رئيسية واقفة أو tenant كبير متأثر | خلال دقايق، IC، status page |
| SEV3 | تدهور جزئي/workaround موجود | ساعات العمل |
الأدوار: Incident Commander (بيدير ومش بيصلح بنفسه — بيوزع الشغل ويقرر)، Ops/fixers، Communications (عملاء وداخلي)، Scribe (timeline). الفصل ده بيمنع أشهر خطأ: كل الناس بتصلح ومحدش بيتواصل ومحدش فاكر إيه اللي اتجرب.
On-call صحي: rotation عادل، alerts قابلة للتنفيذ بس (كل alert ليه runbook، وأي alert بيصحّيك من غير ما تعمل حاجة يتصلح أو يتشال)، تعويض/راحة بعد ليالي صعبة، و handover مكتوب.
Postmortem drill كامل
المحاكاة دي على الـ capstone. اعملها مع فريقك كتمرين: حد بيحقن العطل والباقي بيتعاملوا معاه، وبعدين بتكتبوا الـ postmortem.
# Postmortem: cross-tenant answer reuse via the semantic cache (SEV1, drill)
**Status:** action items in progress · **IC:** on-call backend · **Duration:** 01:58–02:45 (47 min to containment)
## Summary
After release `rag-answer@15`, the semantic cache key omitted the ACL fingerprint. Users of tenant T-118 with
restricted HR access received cached answers generated for HR managers of the same tenant. No cross-TENANT
leak (tenant id was in the key); cross-USER leak within one tenant: 11 responses, 4 users.
## Impact
4 users saw HR policy text they were not entitled to. Customer notified 2026-11-05 10:00 with legal.
## Timeline (UTC)
- 01:41 deploy of rag-answer@15 (canary 10%) — eval gate green (gate did not test ACL variations)
- 01:58 alert: canary-token probe `hr-canary-118` returned to a non-HR test user
- 02:03 IC assigned; 02:06 kill switch `ai.cache.semantic` OFF for all tenants
- 02:20 root cause identified in PR #612 (key builder refactor)
- 02:45 fix deployed behind flag; cache flushed; probes green
## Root cause and contributing factors (no blame)
1. Refactor moved key composition to a new helper; ACL fingerprint parameter defaulted to "" (silently).
2. Unit tests covered tenant separation but not intra-tenant ACL differences.
3. Eval gate had no ACL-varied cases; only the nightly canary probe caught it.
## What went well
Canary probe detected it within 17 min; kill switch existed and worked; traces identified affected responses.
## Action items
| # | Action | Owner | Due | Type |
|---|--------|-------|-----|------|
| 1 | Make ACL fingerprint a required parameter (no default) | backend | 11-08 | prevent |
| 2 | Add ACL-varied cases to eval smoke + isolation matrix | ai-eng | 11-12 | detect |
| 3 | Canary probe every 15 min instead of nightly during canaries | platform | 11-15 | detect |
| 4 | Runbook: cache-related leak response | on-call | 11-10 | respond |علامات postmortem كويس: timeline دقيق، الأثر بأرقام، أسباب في النظام (مش «فلان نسي»)، «إيه اللي اشتغل كويس»، و action items محددة ليها owners ومواعيد ونوع (prevent/detect/respond) — ومتابعة إنها اتقفلت فعلًا.
إدارة الـ tech debt كـ portfolio
«عايزين sprint للـ refactoring» نادرًا بيتوافق عليه، وبيستاهل الرفض لو مش واضح بيشتري إيه. الـ debt يتعامل زي أي استثمار:
| Debt item | «الفايدة» اللي بندفعها | تكلفة السداد | القرار |
|---|---|---|---|
| Schema-per-tenant migrations بتاخد 4 ساعات | كل release متأخر نص يوم + مخاطرة نسخ مختلطة | 3 أسابيع (orchestrator) | الربع ده |
| Flags منتهية (37 flag) | تعقيد، bugs في المسارات القديمة | أسبوع موزّع | قاعدة: ساعتين لكل PR يلمس منطقة فيها flag قديم |
| Service قديم بـ .NET Framework | مستقر، بيتلمس مرتين في السنة | 2 شهر | سيبه (debt «رخيص») |
القاعدة: الـ debt اللي في المسار الساخن (الكود اللي بيتعدل كتير أو بيسبب حوادث) هو اللي يستاهل. وسجل الـ debt بلغة الأثر (وقت، حوادث، فلوس) عشان القرار يبقى بيزنس مش ذوق.
RFCs و design reviews
# RFC-0003: Shared LLM gateway
Author: … · Reviewers: platform, security, 2 product teams · Decision by: 2026-12-01 · Status: In review
## Problem (with evidence)
Three teams call LLM providers directly. Last quarter: no per-feature cost visibility, 2 incidents from
retry storms, keys in 4 places. Finance cannot attribute ~$X/month (link to cost export).
## Goals / Non-goals
Goals: one place for auth, quotas, routing, fallbacks, tracing, redaction. Non-goals: prompt management UI, fine-tuning.
## Proposal
Thin gateway (ASP.NET Core) exposing an OpenAI-compatible API; per-team API keys; budgets (reserve/settle);
routing table per feature; OTel GenAI attributes; redaction before logging. Teams keep their prompts.
## Alternatives considered
1. Buy a commercial gateway — faster start; data path through a vendor; cost per request. 2. Library only — no central quotas.
## Risks
SPOF (mitigation: stateless, N replicas, per-region); latency overhead target < 10 ms p95; adoption.
## Rollout
Pilot with team A (2 weeks) → B and C → mandatory for new features. Success: 100% of AI spend attributed, 0 retry storms.
## Open questions
Who owns the routing table? Chargeback model?Design review بيوصل لقرار: المستند بيتبعت قبل الاجتماع بيومين، التعليقات async، الاجتماع للنقط الخلافية بس، والقرار (والسبب، ومين اعترض وليه) بيتكتب في الآخر. Review من غير قرار = اجتماع ضايع.
Mentoring وتطوير الناس
- Delegation بمستويات: «نفذ الحل ده» ← «اقترح حلين وأنا أختار» ← «قرر وبلغني» ← «ده بتاعك». كبّر المستوى مع الثقة.
- Code review كأداة تعليم: اشرح ليه، ووصّل لمرجع، وفرّق بين الإجباري والذوق.
- Stretch projects: حاجة أكبر بشوية من مستوى الشخص، مع شبكة أمان (pairing، check-ins).
- Feedback محدد ومتكرر: «في الـ PR امبارح، تقسيم الـ migration لخطوتين منع downtime — ده بالظبط المستوى الجاي» أحسن من «شغلك كويس» في الـ review السنوي.
أصحاب المصلحة: Product و Sales و Security والإدارة
- اتكلم بلغتهم: للـ PM: أثر على المستخدم والجدول. للمالية: تكلفة وهامش. للأمن: مخاطر وضوابط. للإدارة: خيارات بتكلفتها ومخاطرها.
- «لا» بدائل: «مش هنقدر نعمل X بحلول مارس، لكن نقدر Y (80% من القيمة) أو X في أبريل.»
- Surprises سيئة: المخاطر تتقال بدري ومكتوبة («في 30% احتمال الـ eval ما يوصلش للحد؛ هنعرف يوم 15»).
Build vs buy
| السؤال | بيميل لـ build | بيميل لـ buy |
|---|---|---|
| هل ده differentiator للمنتج؟ | أيوه (قلب القيمة) | لأ (commodity: auth، billing، email) |
| Total cost of ownership | تكلفة الـ vendor هتتجاوز فريق صغير على المدى | الصيانة والـ on-call والتحديثات أغلى من الاشتراك |
| البيانات والـ compliance | البيانات ما ينفعش تخرج | الـ vendor عنده الشهادات المطلوبة |
| Time to market | مش حرج | حرج |
| Lock-in | — | exit plan ممكن (standards، export) |
القرار في ADR فيه TCO لـ 3 سنين (مش سعر الاشتراك بس: integration، تشغيل، ناس)، وشروط إعادة النظر.
Design doc عملي: مثال كامل مختصر
الـ RFC/design doc مش ورق للـ process. هو أرخص مكان تغلط فيه: تغيير سطر في doc أرخص من تغيير schema في الإنتاج. الـ Senior بيتقاس بجودة القرارات المكتوبة، مش بعدد الـ PRs.
## Context
Tenants share one LLM quota (TPM). On 2026-10-02 one tenant's batch job caused 429s for 63 tenants for 41 min.
## Goals / Non-goals
- G1: no tenant can consume more than its plan's monthly tokens or 20% of shared TPM.
- G2: interactive chat p95 TTFT unaffected by batch workloads.
- NG: per-user budgets (later), BYOK tenants (not counted).
## Options
A) Hard per-tenant TPM split — simple, wastes idle capacity.
B) Token bucket per tenant + priority queue (interactive > batch) — fair, uses idle capacity, more moving parts.
C) Separate provider deployments per tier — strong isolation, higher cost.
## Decision: B, with C for the Enterprise tier only.
## Risks & mitigations
- Redis outage → fail-open for interactive with a global circuit, fail-closed for batch.
- Estimate vs actual tokens → reserve max, settle actual (refund).
## Rollout
Shadow mode 1 week (log decisions, no enforcement) → enforce for batch → enforce for all. Metrics: 429 rate, TTFT p95, budget-denials/tenant.
## Open questions
Do we show remaining budget in the UI? (Product, by 2026-11-20)- Options حقيقية: لو فيه خيار واحد بس، انت ما فكرتش كفاية أو بتكتب تبرير بعد القرار.
- Non-goals بتمنع الـ scope creep وبتوفر نقاش كتير.
- Rollout و metrics جزء من التصميم: «إزاي هنعرف إنه نجح؟ وإزاي نرجع؟»
- القرار النهائي يتحول لـ ADR قصير في الـ repo (زي
CAPSTONE/docs/adr).
Estimation والتخطيط من غير كدب على نفسك
| التقنية | إمتى | ملاحظة |
|---|---|---|
| Breakdown لمهام ≤ يومين | دايمًا | المهمة اللي «أسبوع» غالبًا فيها مجهول ما اتفهمش |
| Spike محدد بوقت | تقنية جديدة أو مخاطرة عالية | «يومين نعرف هل pgvector كفاية» — النتيجة قرار مش كود production |
| Ranges بدل رقم | أي تقدير للإدارة | «3–5 أسابيع، 80% ثقة» + الافتراضات |
| Reference class | features مشابهة اتعملت قبل كده | الماضي أصدق من الحماس |
الحاجات اللي بتتنسى في التقدير: migrations والـ backfill، الـ observability، الـ docs، الـ security review، الـ rollout التدريجي، وإصلاحات بعد الـ beta. قاعدة عملية: لو التقدير ما فيهوش بند للاختبار والـ rollout، هو تقدير للكود بس مش للـ feature.
ثقافة الـ code review
- رتّب الأولويات: correctness و security ← design و maintainability ← tests ← style (والـ style يتعمل بـ formatter/analyzer مش تعليقات).
- علّق على الكود مش الشخص: «الدالة دي بتعمل I/O جوه loop» بدل «انت عملت…». وفرّق بين blocking و suggestion (
nit:). - اشرح الـ «ليه» ولينك للـ docs/ADR: التعليق ده هو mentoring.
- SLA للـ review (مثلًا خلال يوم عمل): PRs اللي بتستنى أيام بتخلي الناس تعمل PRs أكبر، وده بيصعّب الـ review أكتر.
- كـ author: PR صغير، وصف واضح، self-review قبل ما تطلب، وردّ على كل تعليق (اتعمل/مش موافق وليه).
دورة الـ incident في صورة واحدة
الترقي: إزاي تبني evidence
الترقي لـ Senior/Staff بيتبني على أمثلة مكتوبة مش على «أنا شغال كويس». احتفظ بـ «brag document» شهري: المشكلة، دورك تحديدًا، القرار والبدائل، الأثر بالأرقام (latency، تكلفة، incidents أقل، وقت onboarding)، ومين استفاد. مثال قوي: «صممت budgets لكل tenant (RFC-042) ← 429 للـ chat من 3.1% لـ 0.2%، وصفر incidents من نوع noisy neighbor في 3 شهور، وعلّمت 2 من الفريق يعملوا on-call لنفس النظام».
أخطاء شائعة في القيادة التقنية
- إنك تبقى الـ bottleneck: كل review وكل قرار لازم يعدّي عليك. الهدف إن الفريق ياخد القرارات الصح من غيرك.
- تحل المشكلة بنفسك بدل ما تعلّم: أسرع النهارده، أبطأ كل يوم بعد كده.
- RFC لكل حاجة: القرارات الصغيرة القابلة للرجوع تتاخد بسرعة؛ الـ RFC للقرارات المكلفة أو اللي صعب ترجع فيها.
- Tech debt «بنعمله لما يبقى فيه وقت»: مفيش وقت أبدًا. خصص نسبة ثابتة وربطها بأثر بيزنس.
Knowledge check إضافي
RFC فيه خيار واحد بس ومكتوب بعد ما الكود اتعمل. المشكلة؟
اختبر فهمك
الإدارة عايزة تكافئ الفرق على deployment frequency. إيه الخطر؟
دور الـ Incident Commander الأساسي؟
تمارين محلولة
1: فريق change failure rate بتاعه 30%. خطة تحسين؟
الحل: صنّف الحوادث حسب السبب (migrations؟ config؟ dependency؟ AI prompt changes؟). غالبًا: PRs أصغر، expand/contract للـ migrations، canary مع rollback تلقائي، contract tests، eval gates للـ AI. قِس بعد 6 أسابيع.
2: RFC بقاله 3 أسابيع في review من غير قرار. تعمل إيه؟
الحل: حدد decider واحد وتاريخ قرار، لخّص النقاط الخلافية في جدول (خيار/مؤيد/معارض/سبب)، اجتماع 30 دقيقة للخلافات بس، وقرار مكتوب حتى لو «نعمل pilot ونقرر بالبيانات».
3: الـ PM عايز feature خلال أسبوعين والتقدير الواقعي 6. تتعامل إزاي؟
الحل: افهم الموعد ليه (عميل؟ حدث؟)، اقترح أصغر slice بيحقق الهدف في أسبوعين (مثلًا beta لعميل واحد behind flag)، ووضّح المخاطر لو اتضغط الـ scope الكامل (جودة، أمان، tech debt) — كتابة.
Mini project: Leadership artifacts للـ capstone
في CAPSTONE/docs/: RFC لتغيير مهم، postmortem drill (احقن عطل حقيقي: مثلًا الـ provider يرجع 429 والـ breaker متعطّل)، runbooks لأخطر 5 alerts، DORA من GitHub Actions history (script بسيط)، و section «إيه اللي هغيّره لو الفريق 10 أشخاص». ده بالظبط اللي بيتكلم عنه إنترفيو الـ Staff.
أسئلة إنترفيو: Senior → Staff
(Senior) إزاي بتقلل المخاطر في release كبير؟
(Senior) احكي إزاي بتكتب postmortem.
(Staff) إزاي بتقرر تستثمر في تقليل tech debt مقابل features؟
(Staff) إزاي بتأثر على فرق مش تحت إدارتك؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.