Software Engineer Encyclopedia
0%
Domain 09 · System Design & Distributed Systems · Topic 9.4

Messaging والأنظمة المعتمدة على الأحداث

Messaging & Event-Driven Systems

Queues, topics, RabbitMQ, Azure Service Bus, Kafka, delivery semantics, idempotency, Outbox/Inbox, Saga and operations.

  • Advanced
  • ~16 min read
  • 17 sections
  • 2 code examples
  • 1 diagrams
  • 7 questions
  • Priority L2 · Important
  • ASP.NET Core · .NET 8+ · SQL Server · Redis · RabbitMQ

بعد الدرس ده هتقدر

  • تطبّق transactional outbox وتشرح الضمان اللي بيقدمه.
  • تبني relay بـ SKIP LOCKED وconsumer idempotent.
  • تفرّق بين at-least-once delivery وexactly-once effect.

المتطلبات قبل ما تبدأ

Backend + Databases + أساسيات النشر والمراقبة.

مستوى التعمق المطلوب

PRACTICALBuild one producer and one consumer with RabbitMQ, make the consumer idempotent, and handle a poison message.

01

ليه Messaging؟

Decouple time, absorb bursts and distribute work
Deep dive

Messaging يسمح producer يسلّم رسالة إلى broker بدل استدعاء consumer مباشرة. ده يفصل availability/time coupling، يمتص bursts، يدعم fan-out، ويتيح retry/work distribution. لكنه لا يجعل النظام أسرع تلقائيًا؛ هو يضيف queueing latency ويحتاج إدارة delivery, ordering, duplication, poison messages.

Queue عادة work distribution: message يتعالج بواسطة worker واحد من competing consumers. Topic/pub-sub يوزع event إلى subscriptions متعددة. Command يطلب action؛ Event يصف حقيقة حدثت؛ Message مصطلح عام للنقل. لا تسمّ كل payload Event لو هو في الحقيقة command.

حدد semantics قبل اختيار RabbitMQ/Kafka/Service Bus: هل الرسائل individual jobs أم ordered event log؟ هل تحتاج replay؟ هل retention أيام؟ هل routing معقد؟ هل consumers متعددة؟ هل ordering per entity؟

02

Outbox + broker + idempotent consumer

Reliable messaging end to end
Basics
Service A1 tx: data + outboxRelaypoll / CDCBrokertopic / queue, DLQConsumer Binbox(message_id) → handle → ackDuplicates and reordering will happen: design every handler to tolerate both
Atomic write with the outbox, at-least-once delivery, idempotent handling with an inbox
03

Queue vs Topic vs Event Stream

RabbitMQ, Service Bus and Kafka mental models
Deep dive

RabbitMQ broker تقليدي مع exchanges و queues و bindings و routing keys و ack/nack. ممتاز للـ task queues و flexible routing. Azure Service Bus يقدم queues/topics/subscriptions، DLQ، sessions، duplicate detection و transactions حسب tier/features. Kafka distributed append-only log: topics مقسمة partitions، consumer groups، offsets، retention/replay؛ قوي في event streaming و high-throughput pipelines.

لا تقارن الأسماء فقط: RabbitMQ queue message غالبًا تُزال بعد ack؛ Kafka record يظل حسب retention ويمكن ل consumer إعادة القراءة من offset. Kafka ordering داخل partition وليس global topic. RabbitMQ ordering تتأثر بال multiple consumers/requeue. Service Bus sessions تساعد ordered processing لمجموعة ذات SessionId مع حدود throughput.

اختَر حسب delivery model والعمليات المطلوبة والفريق والـ operations. لا تستخدم Kafka لمجرد أنها مشهورة لو تحتاج durable jobs مع simple routing. ولا تستخدم queue كبديل event log لو تحتاج replay طويل وتحليل consumers متعددين.

04

RabbitMQ عمليًا

Exchange, queue, binding, ack and dead lettering
Practical

Producer ينشر إلى exchange، exchange يوجه إلى queue عبر binding. Direct exchange يطابق routing key، topic exchange يطابق patterns مثل orders.*، fanout يبث لكل bound queues. Consumer يستقبل message ويعمل ack بعد نجاح business transaction. Nack/reject قد يعيد الرسالة أو يرسلها DLQ حسب configuration.

Durability تحتاج durable exchange/queue ورسائل persistent، لكن durability الحقيقية تعتمد على queue type/replication/publisher confirms والبروكر config. Publisher confirm يخبر producer أن broker قبل publish وفق semantics؛ لا يعني consumer عالج الرسالة.

C#RabbitMQ consumer — conceptual async handler
// Pseudocode: use a maintained client and configure manual acknowledgements.
async Task HandleAsync(Delivery delivery, CancellationToken ct)
{
    try
    {
        var message = Deserialize<OrderPlaced>(delivery.Body);
        await inbox.ExecuteOnceAsync(message.EventId, async () =>
        {
            await projection.ApplyAsync(message, ct);
        }, ct);
        await channel.BasicAckAsync(delivery.DeliveryTag, multiple: false, ct);
    }
    catch (TransientException)
    {
        await channel.BasicNackAsync(delivery.DeliveryTag,
            multiple: false, requeue: true, ct);
    }
    catch (Exception ex)
    {
        logger.LogError(ex, "Poison message {MessageId}", delivery.MessageId);
        await channel.BasicNackAsync(delivery.DeliveryTag,
            multiple: false, requeue: false, ct);
    }
}

الكود توضيحي لأن signatures تختلف حسب client version. لا تستخدم infinite immediate requeue؛ ده يعمل hot loop. استخدم delayed retry topology أو retry queue مع TTL/backoff، وعدد محاولات محدودًا ثم DLQ.

05

Azure Service Bus: Queue و Topic و DLQ

Sessions, duplicate detection and operational semantics
Practical

Queue ل consumer pool واحد منطقيًا، Topic مع subscriptions لعدة consumers. Subscription filters تتيح كل consumer يستقبل subset. DLQ تخزن الرسائل التي لم تعد قابلة للتسليم أو انتهت محاولاتها. لا تعتبر DLQ trash؛ هي operational work queue تحتاج alert، inspection، safe replay tooling.

Sessions تضمن ordered processing داخل session واحدة عند استخدام SessionId، وتتيح session state. لا تضع كل الرسائل في session واحدة وإلا serializes throughput. Duplicate detection تعتمد على MessageId ونافذة زمنية؛ لا تغني عن idempotent business handler لأن duplicates قد تأتي خارج النافذة أو من إعادة تشغيل business command.

Lock duration و auto-renew مهمان للرسائل الطويلة. لو lock انتهى قبل completion، message قد تُسلّم مرة أخرى. Prefetch يرفع throughput لكنه قد يحتجز رسائل كثيرة لدى worker بطيء. احسب message TTL، max delivery count، lock renewal، concurrency، و DLQ alerting.

06

Kafka Fundamentals

Partitions, consumer groups, offsets and replay
Deep dive

Topic مقسمة إلى partitions. كل partition ordered log وله offset متزايد. Consumer group تقسم partitions بين members؛ داخل group partition واحدة يعالجها consumer واحد في اللحظة نفسها. زيادة consumers عن partitions لا تزيد parallelism لهذا topic. Key يحدد partition غالبًا عبر partitioner؛ اختَر key يحافظ على ordering المطلوب مثل OrderId.

Offset commit يمثل تقدم consumer. Commit قبل side effect قد يفقد أثر المعالجة عند crash؛ commit بعد side effect قد يعيد message لو crash بعد effect وقبل commit. لذلك external side effect يحتاج idempotency أو transaction/outbox integration. Kafka transactions يمكن أن تقدم exactly-once semantics ضمن Kafka read-process-write boundaries، لكنها لا تجعل SQL + payment provider exactly once تلقائيًا.

Retention time/size يحدد مدة replay. Consumer lag = latest offset minus committed/processed offset بصورة تقريبية. راقب lag و oldest record age و rebalance frequency و under-replicated partitions. Schema evolution مهم: compatibility backward/forward/full وفق consumer rollout strategy.

07

Delivery Guarantees و Exactly-Once Myth

At-most-once, at-least-once and idempotent effects
Deep dive

At-most-once: الرسالة لا تعاد، لكن قد تضيع. At-least-once: retry حتى يتم التسليم وفق assumptions، لذلك duplicates محتملة. Exactly-once وصف يجب تحديد نطاقه؛ broker قد يمنع duplicate publication/processing داخل حدوده، لكن side effects خارج broker تحتاج transactional integration أو idempotency.

النمط العملي الشائع: at-least-once delivery + idempotent consumer. استخدم stable MessageId/EventId، Inbox table unique، و business update في نفس DB transaction. لو consumer ينادي external API، مرر idempotency key للطرف الآخر أو خزّن state/reconcile ambiguous result.

SQLInbox deduplication table
CREATE TABLE ProcessedMessages (
    ConsumerName varchar(100) NOT NULL,
    MessageId uniqueidentifier NOT NULL,
    ProcessedAtUtc datetime2 NOT NULL,
    CONSTRAINT PK_ProcessedMessages PRIMARY KEY (ConsumerName, MessageId)
);

داخل transaction: insert ProcessedMessages؛ لو duplicate key فاعتبر message processed سابقًا؛ وإلا نفذ business update ثم commit. لو business update فشل، transaction rollback فيبقى message قابلة لإعادة المعالجة. احتفظ بال records بمدة أطول من أقصى replay window.

08

Outbox و Inbox Implementation Choices

Atomic write, publisher leases and deduplication
Deep dive

Outbox table غالبًا تحتوي Id، AggregateId، Type، Payload، OccurredAt، PublishedAt، Attempts، NextAttemptAt، LockOwner/LockedUntil. Publisher claims bounded batch باستخدام atomic claim/lease؛ يرسل إلى broker؛ ثم marks published. Multiple publishers يحتاجون safe claim query و lease expiry. لا تمسك DB transaction مفتوحة أثناء network publish.

Polling publisher بسيط لكنه يضيف polling load/latency. CDC/transaction log tailing يقلل polling لكنه يزيد operational complexity. Outbox cleanup/archive ضروري. لا تحذف unpublished rows. Monitor oldest unpublished age و publish failures و retry counts.

Inbox يطبق idempotency عند consumer. لو تحتاج ordered aggregate events، خزن aggregate sequence وتحقق من expected sequence؛ event متأخر قد يحتاج buffer/retry. لا تفترض broker ordering يحل business ordering عبر multiple partitions.

Transactional Outbox و Idempotent Consumer على PostgreSQL حقيقي

المشكلة الكلاسيكية: الكود بيحفظ الطلب في قاعدة البيانات وبعدين ينشر event على الـ broker. لو الـ process مات بين الخطوتين، الطلب موجود والـ event ضاع (أو العكس لو عكست الترتيب). مفيش transaction بتغطي قاعدة البيانات والـ broker مع بعض. الـ outbox بيحل ده بإنه يخلي الاتنين كتابة في نفس قاعدة البيانات.

الـ business transaction بتكتب الطلب + صف في جدول outbox — commit واحد.
Relay (background worker) بيقرأ الصفوف اللي ما اتنشرتش، ينشرها على الـ broker، ويعلّمها.
لو الـ relay مات بعد النشر وقبل التعليم، هينشر نفس الـ event تاني ⇒ at-least-once.
الـ consumer بيسجّل id كل event عالجه في نفس transaction شغله ⇒ التكرار مالوش أثر.
SQLoutbox_demo.sql — PostgreSQL 16Executed ✓
SET client_min_messages = warning;
DROP TABLE IF EXISTS orders, outbox, processed_events, stock;

CREATE TABLE orders (id int PRIMARY KEY, sku text NOT NULL, qty int NOT NULL);
CREATE TABLE outbox (
    id           uuid PRIMARY KEY DEFAULT gen_random_uuid(),
    type         text NOT NULL,
    payload      jsonb NOT NULL,
    created_at   timestamptz NOT NULL DEFAULT now(),
    published_at timestamptz
);
CREATE INDEX outbox_unpublished ON outbox (created_at) WHERE published_at IS NULL;   -- partial index: stays small

-- consumer side (another service's database in real life)
CREATE TABLE stock (sku text PRIMARY KEY, available int NOT NULL);
CREATE TABLE processed_events (event_id uuid PRIMARY KEY, processed_at timestamptz NOT NULL DEFAULT now());
INSERT INTO stock VALUES ('KB-1', 10);

\echo '--- 1) producer: order + event in ONE transaction'
BEGIN;
INSERT INTO orders VALUES (1, 'KB-1', 3);
INSERT INTO outbox (id, type, payload)
VALUES ('aaaaaaaa-0000-0000-0000-000000000001', 'OrderPlaced', '{"orderId": 1, "sku": "KB-1", "qty": 3}');
COMMIT;

\echo '--- 2) a failed business transaction leaves NO orphan event'
BEGIN;
INSERT INTO orders VALUES (2, 'KB-1', 99);
INSERT INTO outbox (type, payload) VALUES ('OrderPlaced', '{"orderId": 2, "sku": "KB-1", "qty": 99}');
ROLLBACK;
SELECT (SELECT count(*) FROM orders) AS orders, (SELECT count(*) FROM outbox) AS outbox_rows;

\echo '--- 3) relay: claim a batch; SKIP LOCKED lets several relay instances run without blocking each other'
BEGIN;
SELECT id, type FROM outbox WHERE published_at IS NULL ORDER BY created_at LIMIT 10 FOR UPDATE SKIP LOCKED;
-- (publish to the broker here) ... then mark as published:
UPDATE outbox SET published_at = now() WHERE id = 'aaaaaaaa-0000-0000-0000-000000000001';
COMMIT;

\echo '--- 4) consumer: the broker delivers the same event TWICE'
CREATE OR REPLACE FUNCTION handle_order_placed(p_event uuid, p_sku text, p_qty int) RETURNS text AS $$
BEGIN
    INSERT INTO processed_events (event_id) VALUES (p_event) ON CONFLICT DO NOTHING;
    IF NOT FOUND THEN
        RETURN 'duplicate ignored';                       -- already handled: do nothing
    END IF;
    UPDATE stock SET available = available - p_qty WHERE sku = p_sku;
    RETURN 'processed';
END $$ LANGUAGE plpgsql;

SELECT handle_order_placed('aaaaaaaa-0000-0000-0000-000000000001', 'KB-1', 3) AS first_delivery;
SELECT handle_order_placed('aaaaaaaa-0000-0000-0000-000000000001', 'KB-1', 3) AS second_delivery;
SELECT sku, available FROM stock;

DROP FUNCTION handle_order_placed; DROP TABLE orders, outbox, processed_events, stock;
ConsoleOutput — captured from a real run
SET
DROP TABLE
CREATE TABLE
CREATE TABLE
CREATE INDEX
CREATE TABLE
CREATE TABLE
INSERT 0 1
--- 1) producer: order + event in ONE transaction
BEGIN
INSERT 0 1
INSERT 0 1
COMMIT
--- 2) a failed business transaction leaves NO orphan event
BEGIN
INSERT 0 1
INSERT 0 1
ROLLBACK
 orders | outbox_rows 
--------+-------------
      1 |           1
(1 row)

--- 3) relay: claim a batch; SKIP LOCKED lets several relay instances run without blocking each other
BEGIN
                  id                  |    type     
--------------------------------------+-------------
 aaaaaaaa-0000-0000-0000-000000000001 | OrderPlaced
(1 row)

UPDATE 1
COMMIT
--- 4) consumer: the broker delivers the same event TWICE
CREATE FUNCTION
 first_delivery 
----------------
 processed
(1 row)

  second_delivery  
-------------------
 duplicate ignored
(1 row)

 sku  | available 
------+-----------
 KB-1 |         7
(1 row)

DROP FUNCTION
DROP TABLE

الخطوة 2: الـ rollback شال الطلب والـ event مع بعض. مفيش حالة «event من غير طلب» ولا «طلب من غير event» — ده الضمان اللي الـ outbox بيقدمه.

FOR UPDATE SKIP LOCKED: لو شغّلت instanceين من الـ relay، كل واحد بياخد صفوف مختلفة من غير ما يستنى التاني. من غيرها الاتنين هيقفوا على نفس الصفوف أو ينشروها مرتين.

الخطوة 4: المخزون 7 مش 4، مع إن الـ event وصل مرتين. الـ INSERT … ON CONFLICT DO NOTHING والـ UPDATE في نفس الـ transaction (جسم الـ function)، فمستحيل الـ event يتسجل كـ «معالَج» من غير ما أثره يتطبق، أو العكس.

اللي ناقص عن الإنتاج: تنظيف الصفوف المنشورة القديمة، ترتيب الأحداث لنفس الـ aggregate (partition key)، poison messages و dead-letter، ومراقبة عمر أقدم صف غير منشور (ده أهم metric للـ outbox). وبديل الـ polling هو الـ CDC (قراءة الـ WAL بأدوات زي Debezium).

الـ relay نشر event على الـ broker ومات قبل ما يعلّم الصف كـ published. إيه اللي بيحصل وهل ده مقبول؟

09

Saga: Choreography و Orchestration

Events coordinate long-running business processes
Deep dive

Choreography: OrderPlaced → InventoryReserved → PaymentAuthorized → OrderConfirmed. كل service تنشر event عند نجاح local transaction. سهل في workflows قصيرة، لكن تتبع العملية و compensation يصبحان أصعب مع كثرة المشاركين.

Orchestration: coordinator يحتفظ Saga state ويرسل commands ويستقبل results. أوضح في monitoring و timeouts و compensation، لكنه component إضافي ويجب أن يكون durable/HA. لا تجعل orchestrator يعرف تفاصيل داخلية لكل service؛ contracts مستقرة فقط.

في الحالتين: correlation/SagaId، idempotent commands، timeout لكل step، retry budget، compensation، manual review، audit trail، versioned messages، و replay strategy. Eventual consistency يجب أن تكون ظاهرة للـ UI مثل Pending/Processing، لا تخفيها كأنها immediate consistency.

10

Message Contracts و Testing Consumers

Schema evolution, compatibility and deterministic tests
Practical

Contracts هي public API بين producers/consumers. استخدم versioning واضحًا، additive optional fields قدر الإمكان، لا تعيد تفسير معنى field قديم، ولا تغير type بطريقة breaking. Contract tests تضمن producer يطابق schema و consumer يتعامل مع fixtures القديمة. Schema Registry قد يفرض compatibility policy في streaming systems.

Consumer tests: valid message، duplicate، malformed payload، transient dependency failure، permanent business rejection، cancellation، timeout، out-of-order، schema old/new. اختبر ack behavior و DLQ routing باستخدام broker container/integration environment، وليس mocks فقط.

MassTransit/Wolverine/Rebus تساعد في abstractions/outbox/sagas، لكن راجع current licensing, hosting support, broker feature mapping, و operational behavior before selection. لا تخفي broker semantics خلف abstraction لدرجة يصعب تشخيصها.

11

تشغيل Messaging ومراقبته

Queue depth, lag, age, DLQ and replay runbooks
Practical

راقب queue depth، oldest message age، enqueue/dequeue rate، consumer concurrency، processing duration، retry count، DLQ count/age، broker disk/memory، unacked messages، Kafka consumer lag و rebalance. Queue depth وحده لا يكفي؛ 10,000 رسالة قد تكون طبيعية لو consumer يعالج بسرعة، لكن oldest age يكشف التأخير الحقيقي.

Alert على SLO: مثال oldest message age أكبر من 2 دقيقة لرسائل checkout، أو DLQ growth غير صفر، أو lag يتجاوز processing budget. Runbook: identify consumer/version، inspect sanitized payload، classify transient/permanent، fix root cause، replay with rate limit، monitor duplicates، record operator action.

Replay tool يجب أن يكون authenticated/authorized، يدعم dry-run، message selection، bounded batch، idempotency، audit log، ولا يعيد إرسال كل DLQ دفعة واحدة. لا تفتح management UI للعامة.

12

Ordering و Partition Keys

Order only where the business requires it
Deep dive

Global ordering مكلف ونادرًا ما تحتاجه. غالبًا المطلوب ordering per aggregate: كل أحداث Order-123 بترتيبها، بينما Orders مختلفة يمكن أن تتعالج parallel. استخدم aggregate ID كـ partition/session key. لو key distribution skewed، hot aggregate أو tenant قد يحد throughput.

Out-of-order event handling: sequence number، expected version، buffering لفترة bounded، أو re-read authoritative state. لا تطبق event قديمًا فوق projection أحدث. بعض events commutative مثل increment counters يمكن دمجها، لكن business state transitions غالبًا تحتاج ordering.

Multiple consumers داخل queue قد يعالجوا messages بالتوازي فيغيروا completion order حتى لو enqueue order محفوظ. لو ordering مطلوب، serial processing per key أو sessions/partition ownership مطلوب، مع trade-off throughput.

13

Poison Messages و Retry Topology

Separate transient failure from bad payloads
Practical

Poison message تفشل دائمًا: schema غير صالح، unsupported version، invariant violation، أو code bug. Immediate requeue يستهلك CPU ويمنع الرسائل السليمة من التقدم. استخدم retry count/metadata، exponential delay، ثم DLQ. لا تسجل payload كاملة إذا تحتوي PII/secrets.

Transient failure مثل DB unavailable يمكن إعادة محاولته. Permanent rejection مثل unknown enum value قد يحتاج DLQ/manual fix. Business rejection مثل order cancelled قد يكون message valid ويجب acknowledge بعد تسجيل الحالة، لا retry إلى الأبد.

Replay يجب أن يستخدم نفس MessageId/Idempotency semantics، مع option لتصحيح payload عبر controlled transformation. سجّل original message hash، replay operator، reason، و outcome.

14

Backpressure و Consumer Scaling

Do not let queues hide overload forever
Deep dive

Backpressure تجعل producer أو upstream يشعر بأن downstream لا يستطيع المواكبة. Options: bounded queue، producer rate limit، pause/resume، demand-based pull، reject with retry-after، or load shed. Queue غير محدودة تحول overload إلى latency ومخاطر disk exhaustion بدل رفض واضح.

Scale consumers based on lag/oldest age and processing capacity، لكن راعِ DB/broker/provider limits. لو تضاعف workers وضاعفت DB contention، throughput قد ينخفض. Set max concurrent messages per consumer and prefetch. Monitor in-flight/unacked count.

Estimate drain time: backlog / (consumer_count × messages_per_second_per_consumer - incoming_rate). لو arrival rate يساوي processing rate، backlog لن ينخفض. هذا الحساب يساعد على معرفة هل autoscaling كافٍ أم تحتاج throttling/temporary capacity.

15

Events vs Current State و Event Sourcing

An event log is not automatically event sourcing
Deep dive

Integration event يعلن fact لخدمات أخرى. Domain event يعبر عن business fact داخل domain. Event sourcing يجعل event stream هو source of truth ويعيد بناء state منها؛ ده مختلف عن نشر events بعد حفظ current-state tables. Event sourcing يوفر audit/replay لكنه يضيف schema evolution، snapshots، projections، correction events، و operational complexity.

لا تستخدم event sourcing لمجرد أنك تستخدم Kafka. CRUD system مع outbox/events غالبًا أبسط. Event sourcing يناسب domains تحتاج temporal history/audit أو reconstructable state مع team قادر على إدارة projections/versioning.

Projection rebuild يجب أن يكون deterministic قدر الإمكان، ويجب فصل side effects عن replay حتى لا ترسل emails/payments عند إعادة بناء read model.

16

Partitioned Log: الترتيب، الـ Consumer Groups، والـ Lag

A Kafka-style log simulated: per-key ordering, rebalancing, and what happens when consumers fall behind — executed
Deep dive

Kafka وأمثاله مش queue عادية: هي log متقسّمة لـ partitions. القرار اللي بيحدد كل حاجة هو الـ partition key: الأحداث اللي ليها نفس الـ key بتروح نفس الـ partition فبتفضل مرتبة، وكل partition بيقراه consumer واحد من الـ group. الـ lab ده بيورّي الضمانات دي وحدودها.

Pythonpartitioned_log.py — ordering guarantees, consumer-group assignment, hot partitions and lagExecuted ✓
import hashlib, random
from collections import defaultdict
random.seed(6)

def partition_for(key, n):
    return int.from_bytes(hashlib.md5(key.encode()).digest()[:4], "big") % n

# ---------- 1) ordering: per key yes, globally no ----------
PARTS = 4
log = defaultdict(list)                                   # partition -> [(offset, key, event)]
events = [(f"order-{random.randint(1, 6)}", step) for step in ("created", "paid", "shipped") for _ in range(4)]
produced = []
seq = defaultdict(int)
for key, _ in events:
    seq[key] += 1
    p = partition_for(key, PARTS)
    log[p].append((len(log[p]), key, seq[key])); produced.append((key, seq[key]))

consumed = []
cursors = {p: 0 for p in range(PARTS)}
while any(cursors[p] < len(log[p]) for p in range(PARTS)):          # consumers poll partitions in an arbitrary interleaving
    p = random.choice([p for p in range(PARTS) if cursors[p] < len(log[p])])
    _, key, n = log[p][cursors[p]]; consumed.append((key, n)); cursors[p] += 1

per_key_ok = all([n for k, n in consumed if k == key] == sorted(n for k, n in consumed if k == key) for key in seq)
print(f"1) events for the same key are consumed in order: {per_key_ok}")
print(f"   global order preserved across partitions: {consumed == produced}   (it is NOT guaranteed, and here it was not)")

# ---------- 2) consumer groups: each partition is owned by exactly one consumer ----------
def assign(partitions, consumers):
    return {c: [p for i, p in enumerate(partitions) if i % len(consumers) == j] for j, c in enumerate(consumers)}
print("\n2) assignment of 6 partitions:")
for members in (["c1"], ["c1", "c2", "c3"], ["c1", "c2", "c3", "c4", "c5", "c6", "c7", "c8"]):
    a = assign(list(range(6)), members)
    idle = [c for c, ps in a.items() if not ps]
    print(f"   {len(members)} consumer(s): " + "  ".join(f"{c}->{ps}" for c, ps in a.items() if ps) + (f"   idle: {idle}" if idle else ""))

# ---------- 3) hot keys and lag ----------
def run(keys_weights, partitions=6, produce_rate=600, per_consumer_rate=150, seconds=60):
    keys, weights = zip(*keys_weights)
    lag = [0.0] * partitions
    for _ in range(seconds):
        arrivals = [0] * partitions
        for k in random.choices(keys, weights=weights, k=produce_rate):
            arrivals[partition_for(k, partitions)] += 1
        lag = [max(0.0, l + a - per_consumer_rate) for l, a in zip(lag, arrivals)]   # one consumer per partition
    return lag

even = [(f"tenant-{i}", 1) for i in range(200)]
skewed = [("tenant-big", 80)] + [(f"tenant-{i}", 1) for i in range(199)]              # one tenant produces ~29% of events
print("\n3) 600 events/s, 6 partitions, each consumer handles 150/s (total capacity 900/s). Lag after 60 s:")
for name, kw in (("evenly spread keys", even), ("one hot tenant", skewed)):
    lag = run(kw)
    print(f"   {name:<20} per-partition lag = {[int(x) for x in lag]}   max = {int(max(lag)):,} events (~{max(lag) / 150:.0f} s behind)")
ConsoleOutput — captured from a real run
1) events for the same key are consumed in order: True
   global order preserved across partitions: False   (it is NOT guaranteed, and here it was not)

2) assignment of 6 partitions:
   1 consumer(s): c1->[0, 1, 2, 3, 4, 5]
   3 consumer(s): c1->[0, 3]  c2->[1, 4]  c3->[2, 5]
   8 consumer(s): c1->[0]  c2->[1]  c3->[2]  c4->[3]  c5->[4]  c6->[5]   idle: ['c7', 'c8']

3) 600 events/s, 6 partitions, each consumer handles 150/s (total capacity 900/s). Lag after 60 s:
   evenly spread keys   per-partition lag = [0, 0, 0, 0, 0, 0]   max = 0 events (~0 s behind)
   one hot tenant       per-partition lag = [0, 0, 0, 5295, 0, 0]   max = 5,295 events (~35 s behind)

1) الترتيب: مضمون جوه الـ partition بس، يعني لكل key. لو محتاج «paid» ييجي بعد «created» لنفس الطلب، خلّي الـ key هو رقم الطلب. لو محتاج ترتيب عالمي لكل الأحداث يبقى partition واحد — وساعتها مفيش parallelism. ده أهم trade-off في تصميم الـ topics.

2) الـ consumer group: كل partition له مالك واحد من الـ group، فعدد الـ partitions هو سقف الـ parallelism. 8 consumers على 6 partitions = اتنين قاعدين من غير شغل. ولما consumer يدخل أو يخرج بيحصل rebalance، وأثناءه الرسايل ممكن تتسلّم مرتين — سبب تاني إن الـ consumer لازم يكون idempotent.

3) الـ hot key: الطاقة الإجمالية (900/s) أعلى من الإنتاج (600/s)، ومع ذلك partition واحد بيغرق لأن tenant واحد كل أحداثه رايحة له. زيادة consumers مش هتساعد — الـ partition له قارئ واحد. الحلول: key مركّب (tenant + entity) لو الترتيب مطلوب لكل entity بس، أو topic خاص للـ tenant الكبير. وراقب الـ lag لكل partition مش الإجمالي: المتوسط هنا شكله سليم.

Queue (RabbitMQ، Service Bus queues)Log (Kafka، Event Hubs)
الرسالة بعد المعالجةبتتمسحبتفضل (retention)؛ كل consumer عنده offset
إعادة قراءة القديملأأيوه: replay من أي offset — consumer جديد يبني حالته من الأول
الترتيبتقريبي؛ بيتكسر مع competing consumers والـ retriesمضمون لكل partition
التوزيعأي consumer ياخد أي رسالة: scaling سهلمحدود بعدد الـ partitions
مناسب لـمهام (jobs)، أوامر، routing معقدأحداث، streaming، أكتر من نظام بيقرأ نفس البيانات

topic بـ 12 partition والـ lag بيزيد على partition رقم 7 بس. ضفت 6 consumers كمان ومفيش تحسّن. ليه؟

17

اختبر فهم Messaging

Knowledge check
Practical
هل queue تضمن أن الرسالة ستعالج مرة واحدة فقط؟
لا؛ at-least-once شائع ويعني duplicates محتملة. صمم consumer idempotent.
متى Kafka أنسب من RabbitMQ؟
عند الحاجة إلى durable event log/replay/partitions/high-throughput streams، وليس لمجرد الاسم.
هل Publisher Confirm تعني أن business consumer نفذ العملية؟
لا؛ تعني broker قبل النشر وفق ضماناته، لا أن consumer عالجها.
لماذا نستخدم Outbox؟
لربط حفظ business state ونية نشر event داخل DB transaction واحدة، وحل dual-write gap.
ما metric أهم من queue depth وحدها؟
Oldest message age/processing lag مع معدل الوصول والمعالجة.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خريطة التغطية: 18 عنصر من الـ Roadmap ومكان شرحه في الدرس
New sectionWhy messaging exists§01
New sectionQueue vs Topic (pub/sub)§01
New sectionMessage vs Event vs Command§01
New sectionRabbitMQ: exchanges, queues, bindings, ack/nack§03
New sectionAzure Service Bus: queues, topics, dead-letter queue§03
New sectionKafka concepts: topics, partitions, consumer groups, offsets (awareness)§03
New sectionDelivery guarantees: at-most-once, at-least-once, exactly-once§03
New sectionIdempotent consumers§03
New sectionRetries and dead-letter queues§04
New sectionPoison messages§04
New sectionOrdering and partitioning§04
New sectionOutbox and Inbox patterns§08
New sectionSaga: orchestration vs choreography§08
New sectionEventual consistency§06
New sectionMessage contracts and versioning§07
New sectionMassTransit / Wolverine / Rebus and licensing awareness§10
New sectionTesting consumers§10
New sectionMonitoring queue depth and lag§05

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس