Metrics و Latency vs Throughput
قبل التحسين حدد SLI واضح: latency (زمن request)، throughput (requests/second)، error rate، saturation (CPU/ThreadPool/DB connections)، و resource cost. متوسط latency وحده مضلل؛ راقب percentiles مثل p50/p95/p99. ممكن throughput يزيد لكن p99 يتدهور بسبب queueing.
قانون Little تقريبياً: عدد الطلبات داخل النظام L = arrival rate λ × average time W، عندما النظام مستقر والشروط تنطبق. لو latency ارتفعت مع نفس throughput قد يكون هناك queueing أو contention. ابدأ بتحديد bottleneck: CPU-bound؟ database I/O؟ network؟ allocations/GC؟ lock contention؟
Latency Percentiles و Queueing
Average latency ممكن تكون 100ms بينما 1% من المستخدمين ينتظروا 4 ثواني. لذلك راقب p50 و p90 و p95 و p99 مع request rate و error rate. p95 يعني 95% من الطلبات انتهت عند هذا الزمن أو قبله خلال window القياس. راقب كل endpoint أو operation group، لأن aggregate metric قد يخفي endpoint بطيء.
عندما arrival rate تقرب من service capacity، queueing يزيد latency بسرعة. رفع عدد threads ليس حلّاً تلقائياً؛ لو DB connection pool هو bottleneck، زيادة concurrency قد تزود ضغط DB وتطول queue. استخدم admission control و timeouts و bounded queues عند الحاجة.
Metrics عملية لكل API
Metrics مفيدة: request count، duration histogram، response status count، active requests، exception count، dependency duration، DB query count/duration، cache hit ratio، queue depth/age، ThreadPool queue، GC heap/allocation rate، و connection pool usage. استخدم low-cardinality labels مثل route template/status code، وتجنب user ID أو raw URL كـ metric labels لأن cardinality قد تنفجر.
Logs تشرح event، metrics تشرح trends، traces تشرح path عبر dependencies. OpenTelemetry يساعد في توحيد instrumentation/export. لا تسجل PII في span attributes، ولا تضع order ID/customer ID كـ metric dimension عالي cardinality.
Break Down Request Latency
Request duration الكلية لا تقول لك أين المشكلة. قسمها إلى queue wait، middleware/auth، application execution، DB time، outbound HTTP، serialization، response transfer. Distributed trace يمكن أن يظهر spans لكل dependency. لو app span 20ms و DB span 900ms، تحسين C# loop لن يغير p95 بشكل محسوس. لو serialization/response transfer كبير، قلل payload أو stream أو compression حسب القياس.
استخدم histograms للـ durations، لا averages فقط. قارن p50/p95/p99 لكل dependency. راقب error rate مع latency لأن timeout قد يجعل latency تبدو أقل أحياناً بينما requests تفشل. اربط metrics بالـ release version حتى تعرف هل deploy جديد سبب regression.
أين يذهب وقت الطلب؟
Profiling vs Benchmarking
Profiler مثل dotnet-trace/Visual Studio profiler يجيب: أين الوقت/allocations داخل التطبيق؟ BenchmarkDotNet يقارن code paths مع warmup وتكرارات وقياسات دقيقة نسبياً. لا تستخدم stopwatch حول method مرة واحدة وتعتبره benchmark؛ JIT، GC، CPU scaling، caches، noise كلها تؤثر.
[MemoryDiagnoser]
public class FormattingBenchmarks
{
private readonly int _id = 42;
[Benchmark]
public string Interpolation() => $"product-{_id}";
[Benchmark]
public string Concat() => string.Concat("product-", _id);
}الـ benchmark المعزول لا يثبت أن التغيير سيحسن API end-to-end. قِس أيضاً عبر load test مع realistic data, DB, network, concurrency. بعد كل optimization أعد الاختبار وتأكد من عدم وجود regression في correctness/security.
BenchmarkDotNet: منهجية القياس
BenchmarkDotNet يعالج warmup وتكرار القياس وعوامل runtime كثيرة أفضل من Stopwatch سريع. قارن implementations تؤدي نفس العمل ونفس output، وشغّل Release build، واحتفظ بالـ environment details. لا تقارن benchmark محلياً ثم تعمم النتيجة على production من غير end-to-end test.
[MemoryDiagnoser]
public class LookupBenchmarks
{
private readonly Dictionary<int, string> _items =
Enumerable.Range(0, 10_000).ToDictionary(x => x, x => $"item-{x}");
[Benchmark]
public bool DictionaryLookup() => _items.TryGetValue(7_500, out _);
[Benchmark]
public bool LinearSearch() => _items.Any(x => x.Key == 7_500);
}benchmark micro-operation لا يحسب network/DB/serialization/GC pressure من التطبيق الكامل. استخدم profiler لتفسير hot path، ثم load test لقياس end-to-end behavior. لا تحسّن code path لا يظهر في profile إلا لو عندك سبب واضح.
Optimization Loop من أول القياس لحد Regression
- حدد user-visible symptom: p99 latency، timeout، memory growth، throughput سقفه منخفض.
- حدد SLI/metric ووقت القياس والـ workload.
- اجمع traces/counters/profiles لتحديد bottleneck.
- اكتب hypothesis محددة وقابلة للاختبار.
- غيّر سبباً واحداً قدر الإمكان.
- أعد benchmark/load test بنفس conditions.
- راجع correctness/security/error rate والـ resource cost.
- راقب production rollout واحتفظ بإمكانية rollback.
مثال hypothesis جيدة: «الـ endpoint تنفذ N+1 query، projection واحدة تقلل DB round trips من 51 إلى 1». فرضية ضعيفة: «نحتاج نستخدم cache لأن التطبيق بطيء». القياس هو الذي يحدد الحل.
Async I/O و Thread Pool
في I/O-bound work مثل DB/network، async APIs تسمح للـ request thread بالتحرر أثناء انتظار I/O ثم استكمال continuation عند توفر النتيجة. async لا تعني أن العملية أسرع أو تعمل تلقائياً على thread آخر. لا تستخدم .Result/.Wait() على async operation في request path؛ sync-over-async قد يستهلك ThreadPool workers ويخلق starvation تحت الضغط.
public async Task<ProductResponse?> GetAsync(
int id, CancellationToken cancellationToken)
{
return await db.Products
.Where(p => p.Id == id)
.Select(p => new ProductResponse(p.Id, p.Name, p.Price))
.SingleOrDefaultAsync(cancellationToken);
}لا تحوّل CPU-bound work إلى await مزيف؛ CPU-heavy image processing/ML inference تحتاج concurrency limits أو background workers أو separate compute service. استخدام Task.Run داخل ASP.NET request لا يخلق CPU capacity إضافية.
ThreadPool Starvation و Sync-over-Async
ASP.NET Core يستخدم ThreadPool لتشغيل continuations وأجزاء من request processing. لو request worker يقف على .Result أو Task.Wait() بينما ينتظر I/O، يظل worker مشغولاً بلا داعٍ. تحت الضغط قد ترتفع queue length وتزيد latency. ده لا يعني deadlock في كل حالة، لكنه خطر starvation.
// Bad: blocks a ThreadPool worker while I/O is pending.
public ProductDto? Get(int id)
=> repository.FindAsync(id).GetAwaiter().GetResult();
// Better: propagate async all the way.
public async Task<ProductDto?> GetAsync(
int id, CancellationToken token)
=> await repository.FindAsync(id, token);لا تستخدم Task.Run داخل controller لتغليف I/O async؛ ده لا يحل المشكلة. CPU-bound work يحتاج concurrency limits أو worker service/compute service، و I/O-bound work يحتاج async APIs حقيقية.
Allocations و GC و Serialization Costs
كل allocation صغيرة ممكن تكون غير مهمة بمفردها، لكن millions per second تزيد GC pressure. راقب allocation rate و Gen 0/1/2 collections والـ LOH. JSON serialization cost يتأثر بحجم graph، reflection/source generation، converters، compression، وعدد properties. لا تستخدم object pooling أو ArrayPool في كل مكان؛ ownership/return discipline قد يسبب bugs.
var rented = ArrayPool<byte>.Shared.Rent(16 * 1024);
try
{
var count = await source.ReadAsync(rented, cancellationToken);
await destination.WriteAsync(rented.AsMemory(0, count), cancellationToken);
}
finally
{
ArrayPool<byte>.Shared.Return(rented, clearArray: true);
}لا تستخدم buffer بعد إرجاعه إلى pool. فعّل clearArray عندما تحتوي buffer بيانات حساسة أو قد تصل لحدود trust. ObjectPool مناسب لكائن مكلف لإعادة الاستخدام وليس لأي DTO عادي.
GC Pressure و Allocation Profiling
Allocation rate هو سرعة إنشاء objects، أما memory retention فهو حجم الأشياء التي تظل reachable. ممكن allocation rate عالي لكن GC ينظف بسرعة، وممكن allocation قليل مع memory leak بسبب references محتفظة بـ object graph كبير. راقب heap size، Gen 0/1/2 collections، LOH، allocation rate، و working set مع الزمن.
ابدأ بتقليل payload والـ unnecessary materialization، ثم فكر في ArrayPool/ObjectPool فقط إذا القياس أثبت فائدة. Pooling يحتاج ownership discipline: كل rented buffer يرجع مرة واحدة، ولا تستخدمه بعد Return. لا تحتفظ references إلى pooled objects في fields طويلة العمر.
Pooling و Compression: Trade-offs
Connection pooling و object pooling و ArrayPool مفاهيم مختلفة. Connection pool يعيد استخدام DB/network connections؛ object pool يعيد استخدام instances مكلفة؛ ArrayPool يعيد استخدام buffers. لا تخلطهم. Pooling يقلل allocation/initialization لكنه يضيف state reset و ownership complexity. لو object يحتفظ user data، لازم reset كامل قبل إعادة استخدامه حتى لا يحدث cross-request data leak.
Response compression تقلل network bytes مقابل CPU. فعّلها للـ text/json responses الكبيرة إذا network bottleneck، لكن اختبر CPU impact. لا تضغط images/zip/gzip already-compressed content. Compression مع streaming يحتاج ضبط flush/latency. قياس bytes saved و CPU cost أفضل من تفعيلها على كل شيء افتراضياً.
Database Optimization و N+1 و Pagination و Caching
N+1: query واحدة تجلب N parents، ثم query لكل parent لجلب children. الحل قد يكون projection/join/include أو batch query حسب شكل البيانات؛ لا تحل المشكلة بتحميل graph ضخم دائماً. استخدم pagination، select columns المطلوبة فقط، indexes مناسبة، connection pooling، وقياس query plan. EF Core تفاصيله في درس منفصل.
var rows = await db.Orders
.AsNoTracking()
.Where(o => o.CustomerId == customerId)
.Select(o => new OrderSummary(
o.Id,
o.CreatedAt,
o.Items.Sum(i => i.Quantity * i.UnitPrice)))
.OrderByDescending(o => o.CreatedAt)
.Take(50)
.ToListAsync(cancellationToken);Caching يخفض repeated work لكن يضيف invalidation/staleness/consistency trade-offs. استخدم cache-aside، TTL، size limits، jitter/single-flight عند stampede. Connection pooling يخفض تكلفة إنشاء connection لكنه يحتاج ضبط pool size/timeout ومراعاة DB connection limits.
Connection Pooling و N+1 و Query Shape
Connection pooling يعيد استخدام connections الفيزيائية لتقليل تكلفة فتحها، لكنه لا يعني أن عدد connections غير محدود. لو application replicas كثيرة وكل replica لها pool كبير، قد تتجاوز DB max connections. اضبط pool sizes/timeouts مع عدد instances والـ DB capacity.
N+1 query problem تظهر عندما تجلب قائمة parent records ثم تنفذ query لكل parent. استخدم projection أو Include/batch query وفق الحاجة، وراقب SQL فعلياً. لا تستخدم Include لكل navigation في كل query؛ ده قد يخلق cartesian explosion أو يحمل بيانات أكثر بكثير من المطلوب.
var result = await db.Orders
.AsNoTracking()
.Where(o => o.CustomerId == customerId)
.OrderByDescending(o => o.CreatedAt)
.Take(50)
.Select(o => new OrderSummary(
o.Id, o.CreatedAt,
o.Items.Sum(i => i.Quantity * i.UnitPrice)))
.ToListAsync(token);Caching Trade-offs و Cache Stampede
Cache-aside pattern: اقرأ من cache، لو miss اقرأ source of truth ثم خزّن بقيمة TTL. لكن عند expiration لعنصر مشهور قد تتزامن مئات requests وتضرب DB كلها؛ ده cache stampede. حلول ممكنة: single-flight per key، TTL jitter، stale-while-revalidate، أو distributed lock عند الحاجة. اختار consistency level المناسب للبيانات.
لا تخزن user-specific response في shared cache بدون partition key يضم identity/tenant/security context. لا تجعل cache هي المصدر الوحيد لبيانات لا يمكن إعادة بنائها. Invalidation أصعب من cache insertion؛ حدّد متى تبطل العنصر بعد update، وكيف تتعامل مع multi-instance distributed cache.
Compression و Streaming و Load Testing
Compression تقلل bytes على الشبكة مقابل CPU cost؛ فعّلها للـ text-like responses بحجم مناسب، وتجنب ضغط محتوى صغير أو already-compressed binary. Streaming يمنع buffering الكامل ويحسن time-to-first-byte للبيانات الكبيرة، لكنه يتطلب cancellation/backpressure و error semantics بعد بدء response. Load testing عبر k6/NBomber يجب أن يحاكي arrival rate و think time والـ payload distribution، لا مجرد loop سريع على endpoint واحد.
# k6 script example (load.js)
import http from 'k6/http';
import { check } from 'k6';
export const options = {
scenarios: { steady: { executor: 'constant-vus', vus: 20, duration: '2m' } },
};
export default function () {
const res = http.get('https://localhost:7001/api/products?pageSize=20');
check(res, { 'status is 200': r => r.status === 200 });
}الاختبار الحقيقي يحتاج environment قريب من production، test data، auth، dependencies، metrics و thresholds. لا توجه load test إلى service production بدون تصريح وخطة.
Streaming و Backpressure و Cancellation
Streaming يقلل time-to-first-byte واستهلاك RAM عند نقل datasets كبيرة، لكنه يطيل عمر request والـ connection. لازم client disconnect cancellation ينتقل للـ producer. لا تجمع stream كله في memory قبل إرساله. فكر في backpressure: لو consumer بطيء، هل producer يسرّع ويملأ buffer أم ينتظر؟ استخدم bounded channels أو streaming APIs التي تحترم consumer pace.
Compression تقلل bandwidth لكنها تستهلك CPU وقد تزيد latency للـ small payloads أو البيانات المضغوطة بالفعل. اختبر على realistic payload sizes وشبكات مختلفة. Load testing لازم يقيس recovery بعد spike وليس throughput في لحظة واحدة فقط.
قراءة Counters و Trace و Dump
ابدأ بملاحظة الأعراض ثم اجمع evidence: dotnet-counters monitor يراقب runtime counters مثل CPU, GC heap, allocation rate, thread pool queue/thread count؛ dotnet-trace collect يجمع event trace لتحليل hot paths/contention؛ dotnet-dump collect يأخذ memory dump لحالات memory growth/deadlock/high CPU diagnosis. Dumps قد تحتوي بيانات حساسة في الذاكرة؛ خزّنها بصلاحيات مشددة واحذفها وفق policy.
dotnet-counters monitor --process-id <PID>
dotnet-trace collect --process-id <PID> --duration 00:00:30
dotnet-dump collect --process-id <PID>لا تجمع كل أدوات diagnostics طوال الوقت من غير سبب؛ tracing له overhead وحجم ملفات كبير. قارن baseline بعد نشر نفس build/config/data. لو ThreadPool queue تكبر مع CPU منخفض، افحص blocking I/O أو locks. لو GC heap يصعد باستمرار، ابحث عن retained references وليس allocation rate وحده.
Performance Anti-patterns
- Premature caching: يخفي stale data ويعقّد invalidation قبل معرفة bottleneck.
- Unbounded concurrency: كل request يبدأ عشرات tasks بلا limit فيضغط downstream.
- Sync-over-async: يحجز ThreadPool workers أثناء انتظار I/O.
- Over-fetching: تحميل entity graph كامل رغم الحاجة لحقول قليلة.
- Large response payloads: تزيد serialization والـ network time والـ client memory.
- Retry storms: retry سريع من كل instance يضاعف outage.
- Pooling without ownership: يسبب data corruption أو leaks.
التحسين الجيد يبدأ بفرضية قابلة للقياس، baseline، تغيير واحد، ثم إعادة قياس. لو تحسن p50 وتدهور p99 أو error rate، فالتغيير ليس نجاحاً صافياً. حافظ على correctness/security قبل micro-optimization.
المستوى المطلوب من Performance Engineering
بعد الدرس لازم تفرق بين latency و throughput و percentiles، تعرف تقرأ metrics، وتفهم profiler مقابل benchmark مقابل load test. تقدر تشرح async I/O و ThreadPool starvation و allocation/GC و serialization cost و N+1 و connection pooling و cache trade-offs و compression/streaming. وتعرف تستخدم dotnet-counters/dotnet-trace/dotnet-dump على مستوى تشخيصي.
القاعدة الذهبية: لا تحسن بالحدس. حدد bottleneck من evidence، غيّر سبباً واحداً، قس النتيجة، وراجع correctness والـ error rate والـ resource cost.
Load Testing و Capacity Planning
اختبار capacity مش رقم RPS واحد؛ سجل latency percentiles و error rate و CPU/GC/DB pool/queue depth. اختبر ramp-up و steady state و spike ثم recovery. اختبر dependency degradation (DB slow، downstream 503) لأن أداء النظام تحت failure أهم من happy path. استخدم separate test environment ولا تضرب production بدون approvals.
Regression test للأداء يمكن أن يضع thresholds متواضعة على critical paths أو query counts؛ تجنب hard timing assertions داخل unit tests لأنها flaky. BenchmarkDotNet tests لقياس micro-level؛ k6/NBomber لقياس HTTP-level؛ profiler يفسر السبب. اجعل optimization hypothesis واضحة: «تقليل query round trips من N+1 إلى 1» أكثر قابلية للتحقق من «الكود محتاج يبقى أسرع».
Load Testing Scenarios و Regression
اختبر ramp-up، steady load، spike، soak test طويل، ثم recovery. راقب p95/p99، throughput، error rate، CPU، memory، GC، ThreadPool queue، DB connection pool، downstream latency، queue depth. جرّب dependency بطيئة أو unavailable حتى تعرف هل timeout/circuit breaker/rate limit تحمي النظام.
Performance regression test لا ينبغي أن يكون timing assertion ضيق داخل unit test لأن بيئة CI متغيرة. استخدم benchmark suite منفصلة و load test thresholds متسامحة ومقارنة trends. سجّل baseline مع commit/runtime/config/data size حتى تكون المقارنة عادلة.
Capacity Planning و Bottleneck Isolation
النظام يتحدد بالـ bottleneck الأكثر تقييداً. لو API CPU منخفض لكن DB connections exhausted، تحسين JSON serialization لن يحل المشكلة. لو outbound dependency بطيئة، زيادة Kestrel threads لا تخلق capacity عند الطرف الآخر. ارسم request dependency chain، وقس time spent in app/DB/network/queue. استخدم timeouts و bulkheads و bounded concurrency لمنع failure ينتشر.
اختبر degradation: DB latency زادت 5x، downstream رجع 503، Redis unavailable، أو queue depth ارتفعت. هل API ترجع 503 بسرعة أم تظل requests معلقة؟ هل retries تعمل amplification؟ هل circuit breaker يفتح؟ دي أسئلة production performance بقدر ما هي resilience.
Knowledge Check
هل async/await يخلق thread جديد لكل request؟
ما الفرق بين profiler و benchmark؟
لماذا N+1 مشكلة؟
متى لا تستخدم ArrayPool؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خريطة التغطية: 24 عنصر من الـ Roadmap ومكان شرحه في الدرس
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.