ليه Rate Limiting؟
Rate limiting يحدد عدد الطلبات أو معدلها لكل client/partition خلال فترة. الهدف حماية API من abuse، توزيع capacity بعدل، تقليل تكلفة provider خارجي، وحماية endpoints الحساسة مثل login و OTP و search. هو ليس بديلًا عن authentication أو DDoS protection عند network edge؛ هجمات distributed كبيرة قد تحتاج CDN/WAF/API gateway.
لا تضع limit واحدًا لكل endpoints. login و password reset و public catalog و internal health check لها cost/risk مختلف. صمم policy بناءً على resource cost، user tier، SLA، وحجم burst المتوقع.
الخوارزميات الأساسية
Fixed Window: عداد لكل فترة ثابتة؛ سهل وسريع، لكن يسمح burst عند boundary (آخر ثانية من نافذة وأول ثانية من التالية). Sliding Window: يحسب usage على نافذة متحركة أو segments؛ أكثر نعومة لكن يحتاج state/حسابات أكثر. Token Bucket: tokens تتجدد بمعدل ثابت، والطلب يستهلك token؛ يسمح burst حتى bucket capacity مع ضبط average rate. Concurrency Limiter: يحد عدد العمليات النشطة في نفس اللحظة، وليس عدد الطلبات في الدقيقة.
| Algorithm | مناسب لـ | الـ trade-off |
|---|---|---|
| Fixed Window | حد بسيط لكل minute | Boundary bursts |
| Sliding Window | معدل أكثر سلاسة | state/overhead أكبر |
| Token Bucket | Average rate مع burst allowance | يحتاج ضبط refill/capacity |
| Concurrency | عمليات ثقيلة أو محدودية downstream | لا يحدد total requests/time |
Fixed Window و Sliding Window و Token Bucket
Fixed Window سهل ورخيص لكنه يسمح burst عند حدود النافذة: العميل قد يستهلك الحد في آخر ثانية وأوله. Sliding Window يقلل boundary burst عبر تقسيم النافذة أو تتبع timestamps، لكنه أعلى تكلفة. Token Bucket يسمح burst محدودًا طالما tokens متاحة ثم يفرض average rate، وهو مناسب لكثير من APIs. Concurrency limiter يحدد عدد العمليات المتزامنة لا عدد الطلبات في الثانية.
اختيار partition key مهم: IP قد يجمع مستخدمين خلف NAT، و UserId لا يتوفر قبل authentication. استخدم partition حسب tenant/user/API key مع fallback للـ IP، واحذر spoofed forwarded headers؛ لا تثق بها إلا من reverse proxy معروف.
builder.Services.AddRateLimiter(options =>
{
options.AddPolicy("per-user", httpContext =>
{
var key = httpContext.User.Identity?.IsAuthenticated == true
? httpContext.User.FindFirstValue(ClaimTypes.NameIdentifier)!
: httpContext.Connection.RemoteIpAddress?.ToString() ?? "unknown";
return RateLimitPartition.GetTokenBucketLimiter(key, _ =>
new TokenBucketRateLimiterOptions
{
TokenLimit = 20,
TokensPerPeriod = 10,
ReplenishmentPeriod = TimeSpan.FromMinutes(1),
AutoReplenishment = true,
QueueLimit = 0
});
});
});
app.UseRateLimiter();راجع ترتيب middleware حتى تكون identity متاحة إذا كان partition حسب المستخدم، مع مراعاة متطلبات endpoint routing. أضف Retry-After أو response مناسبًا، وراقب 429 rates. الـ in-memory limiter يطبق الحد داخل instance واحدة فقط؛ مع عدة replicas قد يتضاعف الحد الكلي ما لم تستخدم gateway أو distributed coordination.
فهم الخوارزميات بمثال زمني
Fixed Window: quota 10/minute. لو client أرسل 10 requests عند 10:00:59 ثم 10 عند 10:01:00، يمكنه إرسال 20 في ثانية تقريبًا رغم limit=10/minute. Sliding Window تخفف boundary burst باستخدام segments أو timestamps، لكن تحتاج state أكبر. Token Bucket: bucket capacity 20، refill 5 tokens/second؛ يسمح burst حتى 20 ثم يستمر بمعدل متوسط 5/s. Concurrency limiter=5 يسمح بخمس عمليات نشطة؛ request سادسة تنتظر أو ترفض حسب queue policy.
اختيار algorithm يجب أن يعكس workload: public search قد يحتاج token bucket مع burst allowance، expensive report يحتاج concurrency limit، login يحتاج limits متعددة (IP/account/device) مع مراقبة abuse. لا تضع queue كبيرة بلا سبب؛ queue نفسها تستهلك memory وتزيد latency وقد تحول overload إلى requests قديمة.
Partitioning حسب IP أو User أو API Key
Partition key تحدد مين يشترك في نفس quota. IP مناسب للـ anonymous traffic لكنه غير عادل خلف NAT وقد يتغير. User ID مناسب بعد authentication. API key مناسب لـ integrations، لكن لا تستخدم raw key كـ metric label أو log؛ استخدم hash/identifier آمن. Tenant partition مفيد في SaaS، مع plan-specific limits.
لو تستخدم RemoteIpAddress خلف reverse proxy، لازم تضبط trusted forwarded headers؛ لا تثق في X-Forwarded-For من client مباشرة، وإلا يستطيع تزوير IP partition. في endpoints login، لا تعتمد على user ID فقط لأن user غير authenticated بعد؛ استخدم combination من IP/account/email hash مع limits مختلفة.
Partition Identity و Trusted Forwarded Headers
لو partition تعتمد على IP خلف reverse proxy، اضبط Forwarded Headers Middleware على trusted proxies/networks. لا تقرأ أول قيمة في X-Forwarded-For من request مباشرة؛ attacker يقدر يرسل header مزورًا ويخلق partitions كثيرة أو يتجاوز quota. بعد trust normalization، استخدم HttpContext.Connection.RemoteIpAddress.
بعد authentication، partition by subject/user id أفضل لعدالة user quota، لكن user قد يملك tenants/plans متعددة. لو limits per tenant، تحقق من membership قبل استعمال tenant key. لا تسمح anonymous request بتحديد partition string بحرية من query/header. اجعل key bounded and normalized.
إعداد ASP.NET Core Rate Limiting Middleware
builder.Services.AddRateLimiter(options =>
{
options.RejectionStatusCode = StatusCodes.Status429TooManyRequests;
options.AddFixedWindowLimiter("public-read", limiter =>
{
limiter.PermitLimit = 100;
limiter.Window = TimeSpan.FromMinutes(1);
limiter.QueueLimit = 0;
limiter.AutoReplenishment = true;
});
options.OnRejected = async (context, ct) =>
{
context.HttpContext.Response.Headers.RetryAfter = "30";
await context.HttpContext.Response.WriteAsJsonAsync(
new { error = "rate_limit_exceeded", retryAfterSeconds = 30 }, ct);
};
});
app.UseRateLimiter();
app.MapGet("/catalog", GetCatalog).RequireRateLimiting("public-read");لو endpoint تستخدم endpoint-specific rate limiting، لازم middleware placement مناسب بعد routing حسب guidance. راجع ترتيب authentication لو partition يعتمد على user identity؛ لازم user يكون authenticated قبل إنشاء partition key المبني على claim.
options.AddPolicy("per-user", httpContext =>
{
var userId = httpContext.User.FindFirstValue(ClaimTypes.NameIdentifier);
var partition = userId ?? httpContext.Connection.RemoteIpAddress?.ToString() ?? "unknown";
return RateLimitPartition.GetTokenBucketLimiter(partition, _ =>
new TokenBucketRateLimiterOptions
{
TokenLimit = 20,
TokensPerPeriod = 10,
ReplenishmentPeriod = TimeSpan.FromMinutes(1),
AutoReplenishment = true,
QueueLimit = 0
});
});لا تستخدم string "unknown" كـ partition لكل anonymous users؛ ده يخلي الجميع يشتركوا في bucket واحدة. اعمل fallback strategy مقصودة، وراقب partition cardinality حتى لا تسمح بإنشاء ملايين partitions.
Queue Processing و OnRejected Semantics
QueueLimit يحدد كم request يمكنها الانتظار بدل الرفض. queue مفيدة لو bursts قصيرة والعمليات سريعة؛ لكنها سيئة لو العمل طويل أو client timeout أقصر من queue wait. في كثير من public APIs، رفض سريع مع 429 و Retry-After أفضل من queue. Concurrency limiter يمكنه queue عدد محدود من العمليات الثقيلة، لكن راقب queue duration.
OnRejected يكتب response فقط؛ لا تنفذ business operation ولا تعمل expensive logging sync. ضع Retry-After منطقيًا، و Problem Details contract، وربما rate limit headers وفق API standard. لا تكشف quota key أو internal partition identifier للعميل.
Concurrency Limiter في ASP.NET Core
builder.Services.AddRateLimiter(options =>
{
options.AddConcurrencyLimiter("reports", limiter =>
{
limiter.PermitLimit = 4;
limiter.QueueLimit = 8;
limiter.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
});
});
app.MapPost("/reports", GenerateReport)
.RequireRateLimiting("reports");الـ limiter يسمح بأربع عمليات active، ويضع حتى ثمانية في queue. لو queue امتلأت، request تُرفض. ده يحمي database/report engine من concurrency غير محدود، لكنه لا يحدد total reports per hour. استخدم معه rate limit إذا تحتاج الاثنين.
تصميم Policies حسب نوع Endpoint
| Endpoint | Policy محتملة | سبب التصميم |
|---|---|---|
| Login / password reset | Per account + per IP + global abuse limit | منع brute force و account enumeration abuse |
| Public catalog GET | Per IP/client token bucket | يسمح burst محدودًا ويحمي DB/cache |
| Report generation | Concurrency + per-tenant quota | تكلفة CPU/DB عالية لكل job |
| Payment provider call | Per provider account + concurrency | احترام provider quota وحماية credentials |
| LLM completion | Per user/tenant token budget + concurrency | التكلفة تعتمد على tokens وليس request count فقط |
Rate limiting لا يغني عن business quota أو billing limits. لو LLM request واحدة تستهلك 100k tokens وأخرى 100 tokens، request count وحده لا يعكس التكلفة. احسب token budget أو cost units بعد validation، وضع maximum input/output tokens قبل إرسالها لل provider.
HTTP 429 و Retry-After
HTTP 429 Too Many Requests تعني client تجاوز rate policy. Retry-After يمكن أن يحدد delay قبل retry. لا ترجع retry-after عشوائيًا؛ احسبه من reset/refill policy لو متاح. client يجب أن يحترم header ويستخدم exponential backoff مع jitter، لا يعمل tight retry loop.
HTTP/1.1 429 Too Many Requests
Content-Type: application/problem+json
Retry-After: 30
{
"type": "about:blank",
"title": "Too many requests",
"status": 429,
"detail": "Retry after the indicated delay."
}في بعض APIs قد تعرض RateLimit headers للحدود والـ remaining/reset وفق standard adopted by API. لا تكشف internal quota details التي تسهل abuse، وكن consistent بين gateways/services.
Distributed Rate Limiting
ASP.NET Core built-in limiter داخل كل process. لو عندك 5 replicas وكل واحدة تسمح 100/min لنفس user، global effective quota قد تقارب 500/min إذا load موزع. ده مناسب أحيانًا كـ local protection، لكنه لا يفرض global business quota.
للـ global limits استخدم API gateway أو shared atomic store مثل Redis، أو provider يدعم distributed quotas. لازم عملية increment/check تكون atomic؛ read counter ثم write counter منفصلين يسبب race. distributed store نفسه قد يصبح bottleneck أو failure dependency؛ قرر fail-open أم fail-closed حسب endpoint sensitivity.
استخدم local concurrency limiter لحماية CPU/downstream داخل instance، و global rate limit للـ quota عبر replicas. الطبقتان تكملان بعضهما. لا تستخدم distributed lock لكل request كحل عام؛ atomic counters/script أبسط للـ rate policy.
Rate Limiting في Multi-Instance APIs
In-memory limiter يطبق limit لكل process؛ مع 5 replicas قد يحصل client على خمسة أضعاف quota إذا traffic موزع. لو تحتاج global quota، استخدم distributed store أو gateway-level limiter مع atomic increments/window semantics. اختَر partition key بحذر: IP قد يجمع NAT users أو يتغير، user ID يتطلب authentication، API key يمكن تسريبه، و tenant ID قد يحتاج plan-specific quota.
حدد algorithm: fixed window بسيط لكنه يسمح bursts عند الحدود؛ sliding window أدق وأعلى تكلفة؛ token bucket يسمح burst محدود بمعدل refill؛ concurrency limiter يحدد عدد العمليات المتزامنة وليس requests per minute. أعد 429 مع Retry-After أو rate limit headers وفق contract. لا تجعل retry clients يضربون فورًا مرة أخرى.
Fail-Open vs Fail-Closed في Distributed Limiting
لو Redis/global limiter وقع، هل تسمح requests؟ Login/OTP/payment endpoints قد تحتاج fail-closed أو conservative local fallback حتى لا تصبح بلا حماية. Public read endpoints قد تختار fail-open مع local concurrency protection لتجنب outage كامل. القرار لازم يكون per policy وليس catch عام.
اختبر Redis timeout، partition store full، clock skew، multi-region latency، hot user key، و counter reset. Atomic script يجب أن تحدث counter/refill/reset في operation واحدة. لو global quota across regions، latency consistency trade-off قد يكون أهم من الدقة؛ قد تحتاج regional budgets بدل global counter واحد.
Capacity Planning و429 و Distributed Limits
Rate limiting لا يساوي حماية كاملة من DDoS. هو طبقة fairness وحماية application resources، بينما volumetric attacks تحتاج edge/CDN/WAF/network controls. ضع limits مختلفة حسب تكلفة endpoint: login و OTP و search و report export ليست بنفس التكلفة. استخدم concurrency limiter للعمليات التي تستهلك موارد لفترة طويلة.
احسب budget من قدرة dependency لا من عدد المستخدمين فقط. إذا database تتحمل 300 expensive queries/sec، لا تسمح لكل API instance بإرسال 300. وزع global budget عبر replicas، أو استخدم gateway centralized. راقب queue wait time والرفض والـ latency حتى لا يتحول limiter نفسه إلى bottleneck.
app.MapPost("/reports/export", ExportReport)
.RequireAuthorization()
.RequireRateLimiting("report-exports");
// Use a stricter policy for OTP / login endpoints,
// and a concurrency policy for long-running exports.لا تجعل queue كبيرة جدًا كحل لرفض الطلبات؛ queue تضيف latency وتستهلك الذاكرة. في كثير من الأنظمة queue limit صغير أو صفر مع 429 أفضل من قبول طلب لن ينفذ قبل انتهاء قيمته. وثّق limits للعملاء، واستخدم idempotency keys لعمليات الدفع/الكتابة بدل الاعتماد على retry العشوائي.
Monitoring و Load Testing
راقب accepted/rejected requests، partition counts، 429 ratio، queueing، latency، downstream errors، CPU/DB saturation، و limits per policy. اختبر bursts و steady rate و boundary conditions و clock behavior و multiple replicas. load test مهم قبل production؛ limits منخفضة جدًا تكسر legitimate clients، وعالية جدًا لا تحمي الموارد.
اختبر spoofed forwarded headers، anonymous traffic، API key rotation، user with multiple tenants، و request cancellation. لا تضع user IDs أو API keys كـ high-cardinality metric labels؛ استخدم aggregate labels مع sampling/log correlation آمن.
الخوارزميات بالرسم: Fixed vs Sliding vs Token Bucket
| الخوارزمية | مناسبة لـ | العيب |
|---|---|---|
| Fixed window | حصص يومية/شهرية بسيطة | burst مضاعف عند الحد بين نافذتين |
| Sliding window | APIs عامة، عدالة أعلى | تكلفة حساب/ذاكرة أعلى شوية |
| Token bucket | APIs بتسمح بـ burst قصير (الـ UI بيحمل 5 طلبات مرة واحدة) | ضبط القيمتين (cap و rate) محتاج قياس |
| Concurrency | endpoints تقيلة (exports، LLM calls) | مش بيحمي من طلبات سريعة صغيرة كتير |
Rate limiting لـ endpoints الـ AI: tokens مش requests
طلب chat بـ 50 token وطلب بـ 30,000 token مش متساويين. لو بتحد بعدد الطلبات بس، مستخدم واحد ممكن يستهلك ميزانية الشهر في ساعة. الحل طبقتين: rate limiter عادي (requests/min) لحماية السيرفر، وtoken budget لكل user/tenant لحماية الفلوس.
builder.Services.AddRateLimiter(o =>
{
o.RejectionStatusCode = StatusCodes.Status429TooManyRequests;
o.OnRejected = async (ctx, ct) =>
{
if (ctx.Lease.TryGetMetadata(MetadataName.RetryAfter, out var retry))
ctx.HttpContext.Response.Headers.RetryAfter = ((int)retry.TotalSeconds).ToString();
await ctx.HttpContext.Response.WriteAsJsonAsync(new { title = "Too many requests" }, ct);
};
o.AddPolicy("chat", http => RateLimitPartition.GetTokenBucketLimiter(
http.User.FindFirstValue("sub") ?? http.Connection.RemoteIpAddress?.ToString() ?? "anon",
_ => new TokenBucketRateLimiterOptions
{
TokenLimit = 10, TokensPerPeriod = 10, ReplenishmentPeriod = TimeSpan.FromMinutes(1),
QueueLimit = 0, AutoReplenishment = true
}));
o.AddPolicy("export", http => RateLimitPartition.GetConcurrencyLimiter(
http.User.FindFirstValue("tid") ?? "anon",
_ => new ConcurrencyLimiterOptions { PermitLimit = 2, QueueLimit = 5, QueueProcessingOrder = QueueProcessingOrder.OldestFirst }));
});
app.UseRateLimiter(); // after UseAuthentication when partitioning by user claims
app.MapPost("/chat", ChatHandler.Handle).RequireRateLimiting("chat");
app.MapPost("/exports", ExportHandler.Handle).RequireRateLimiting("export");
// Token *budgets* (monthly AI tokens per tenant) are enforced in the application layer: see AI in Multi-Tenant SaaS.الـ built-in limiter بيحفظ الحالة في ذاكرة الـ instance. مع 4 instances، الحد الفعلي ×4 تقريبًا. للحدود اللي لازم تكون دقيقة عبر instances (billing، abuse) استخدم Redis-based limiter أو gateway، والتفاصيل في القسم الـ distributed فوق وفي AI in Multi-Tenant SaaS.
الـ client لما ياخد 429
export const retryAfterInterceptor: HttpInterceptorFn = (req, next) =>
next(req).pipe(
retry({
count: 2,
delay: (err: HttpErrorResponse, attempt) => {
const idempotent = ['GET', 'HEAD', 'PUT', 'DELETE'].includes(req.method) || req.headers.has('Idempotency-Key');
if (err.status !== 429 || !idempotent) return throwError(() => err);
const seconds = Number(err.headers.get('Retry-After')) || 2 ** attempt; // header needs CORS expose
return timer(Math.min(seconds, 30) * 1000 + Math.random() * 300); // jitter avoids synchronized retries
},
}),
);الـ UX: لو التأخير طويل، اعرض رسالة «حاولت كتير، استنى X ثانية» بدل retry صامت. وما تعملش retry لـ POST من غير idempotency key — ممكن تعمل order مرتين.
أخطاء شائعة
- Partition بالـ IP بس خلف proxy/NAT ← كل مستخدمي شركة بيشاركوا حد واحد، أو كل الناس IP الـ load balancer. لازم ForwardedHeaders موثوقة أو partition بالـ user/API key.
- Rate limiter قبل الـ authentication وانت عايز partition بالـ user ← الـ claims لسه مش موجودة.
- Limit واحد لكل الـ endpoints: login محتاج حد أقل بكتير (brute force)، والـ health checks مستثناة.
- مفيش metrics للـ 429: مش هتعرف إن الحد ضيق على عملاء حقيقيين.
تمرين محلول: تصميم policies لـ SaaS
صمّم rate limits لـ: login، chat AI، export تقارير، webhook ingestion من Stripe، و public API للشركاء.
الحل: Login: sliding window بالـ IP + بالـ username (5/دقيقة) ضد brute force. Chat: token bucket بالـ user (10 burst، 10/دقيقة) + token budget شهري بالـ tenant. Export: concurrency 2 لكل tenant + queue. Stripe webhooks: من غير rate limit صارم (الـ provider بيعيد المحاولة، والرفض بيأخر حالة الدفع) — بس signature verification وحد لحجم الـ body. Public API: sliding بالـ API key حسب الخطة، مع headers توضح الحد والمتبقي، و Redis-based عشان الحد يبقى دقيق عبر instances.
اختبر فهمك
ما الفرق بين rate limit و concurrency limit؟
لماذا Fixed Window يسمح burst عند الحد الفاصل؟
هل limiter داخل كل API replica يفرض quota عالمية؟
ما وظيفة Retry-After؟
هل X-Forwarded-For موثوق دائمًا؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
خريطة التغطية: 10 عنصر من الـ Roadmap ومكان شرحه في الدرس
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.