Monitoring vs Observability
Monitoring يتابع metrics/conditions معروفة مسبقًا: CPU عالي، error rate مرتفع، disk full. Observability تساعدك تستنتج حالة داخلية لم تكن متوقعًا تفاصيلها من telemetry emitted by system. الثلاثة الأساسية: Logs أحداث مفصلة، Metrics قياسات رقمية عبر الزمن، Traces رحلة request عبر services/dependencies. الثلاثة مكملة لبعض وليست بدائل.
في .NET API، لو المستخدم يقول «الطلب بطيء»، تحتاج trace لتعرف أي dependency أخذت الوقت، metric لتعرف هل المشكلة عامة أو route محدد، logs لتفهم business context/error. مجرد Console.WriteLine("Error") لا يكفي، ومجرد dashboard CPU لا يشرح request latency.
Observability Design Review قبل إطلاق Feature
لكل feature اسأل: ما نجاحها من منظور المستخدم؟ ما failure modes؟ ما latency budget؟ ما dependency boundaries؟ ما metric منخفضة cardinality التي تكشف المشكلة؟ ما log event الذي يشرح النتيجة؟ ما trace span الذي يربط الرحلة؟ وما alert الذي يحتاج تدخلًا؟ لا تضف telemetry عشوائية؛ صممها حول أسئلة تشغيلية واضحة.
مثال checkout: عدد محاولات الدفع حسب provider/outcome، نسبة decline مقابل technical error، p95 authorization latency، outbox backlog، duplicate idempotency requests، و order completion rate. لا تخلط decline business outcome مع gateway timeout. dashboard واحدة تجمع هذه signals تعطي صورة أوضح من CPU chart وحده.
Observability Maturity: من Logs متفرقة إلى Feedback Loop
ابدأ بالحد الأدنى: structured logs و request metrics و distributed trace للـ critical path. بعد أول incidents، أضف signals التي كانت ناقصة بدل إضافة كل collector متاح. راجع كل incident: هل alert اكتشفت المشكلة؟ هل trace حدد dependency؟ هل logs كشفت business context؟ هل telemetry نفسها كانت متاحة؟ حوّل الفجوات إلى instrumentation backlog.
راجع dashboards دوريًا واحذف panels التي لا تستخدم، واضبط retention حسب التحقيقات المطلوبة. علّم الفريق قراءة traces و querying logs، ولا تجعل observability معرفة محصورة في SRE واحد. Reliability تتحسن عندما telemetry تقود قرارًا واضحًا ثم يتم قياس أثره.
Telemetry Ownership و Operational Readiness
لكل SLO و alert و dashboard حدد service owner و on-call route و runbook. signal بلا owner لا يضمن استجابة. راجع alert routing عند تغيير الفريق أو service name، واختبر notification channel دوريًا. وثّق escalation و incident severity و communication cadence حتى لا تضيع دقائق أثناء outage في معرفة من المسؤول.
الـ telemetry pipeline في رسمة
Structured Logging و Log Levels
Structured logging يسجل message template مع named properties بدل string interpolation فقط. ده يسمح بالبحث والتجميع حسب OrderId/Route/StatusCode/TraceId. مستويات شائعة: Trace/Debug للتشخيص التفصيلي، Information للأحداث التشغيلية المهمة، Warning لحالة غير طبيعية لكن التطبيق تعافى، Error لفشل عملية، Critical لحدث يهدد الخدمة. اتفق على policy حتى لا يصبح كل log Error.
public sealed class OrderService(ILogger<OrderService> logger)
{
public async Task ConfirmAsync(Guid orderId, CancellationToken ct)
{
logger.LogInformation("Confirming order {OrderId}", orderId);
try
{
// Execute the use case.
await Task.CompletedTask;
logger.LogInformation("Order {OrderId} confirmed", orderId);
}
catch (Exception ex)
{
logger.LogError(ex, "Failed to confirm order {OrderId}", orderId);
throw;
}
}
}لا تسجل نفس exception في كل layer؛ سجلها مرة عند boundary الذي يملك قرار التعامل معها، أو أضف context في lower layer بدون تكرار stack traces. لا تسجل passwords/tokens/connection strings/payment data. استخدم redaction، وراجع scopes/properties حتى لا تتسرب sensitive values.
Log volume له cost. لا تسجل كل successful GET على Information في high traffic API بلا sampling/retention plan. احتفظ بـ audit logs للأحداث الأمنية/business المطلوبة وفق retention/immutability requirements، ولا تخلطها مع debug logs القابلة لل sampling.
Structured Logging: Event Names و Scopes و Redaction
استخدم event names مستقرة و structured properties بدل string interpolation فقط. أضف scopes أو trace context لتجميع logs الخاصة بنفس request. لا تستخدم dynamic values في event name، ولا تضع object كاملًا في log. افصل error code الداخلي عن message الموجه للمستخدم. Exception stack trace مفيد داخليًا لكنه قد يحتوي file paths أو SQL أو بيانات حساسة؛ راجع redaction.
logger.LogWarning(
"Payment authorization failed for provider {Provider} with code {FailureCode}",
providerName,
result.FailureCode);لا تسجل card number أو CVV أو password أو bearer token أو refresh cookie. استخدم allow-list للحقول، وراجع sinks والـ processors قبل export. لا تستخدم log level Error لكل business decline؛ صنف expected business outcomes كـ Information/Warning حسب operational meaning.
Metrics: Counters و Gauges و Histograms
Counter يزيد monotonically مثل request count/errors؛ Gauge قيمة لحظية مثل active connections/queue depth؛ Histogram يسجل distribution مثل request duration/response size ويتيح percentile approximations حسب bucket configuration. لا تستخدم average وحده لل latency؛ p95/p99 تكشف tail latency التي تؤثر على users.
Metrics labels/dimensions يجب تكون low-cardinality. لا تضع OrderId أو UserId أو raw URL في metric label؛ ده ينشئ time series هائلة ويزيد cost. استخدم route template مثل /orders/{id}، status class، dependency name و region. التفاصيل عالية cardinality مكانها traces/logs مع privacy review.
using System.Diagnostics.Metrics;
public sealed class OrderMetrics : IDisposable
{
private readonly Meter _meter = new("MyShop.Orders", "1.0.0");
private readonly Counter<long> _created;
private readonly Histogram<double> _processingMs;
public OrderMetrics()
{
_created = _meter.CreateCounter<long>("orders.created");
_processingMs = _meter.CreateHistogram<double>("orders.processing.duration", "ms");
}
public void OrderCreated(string channel) =>
_created.Add(1, new KeyValuePair<string, object?>("channel", channel));
public void RecordDuration(double milliseconds) => _processingMs.Record(milliseconds);
public void Dispose() => _meter.Dispose();
}الـ channel يجب أن يكون من مجموعة محدودة مثل web/mobile/admin، وليس customer-provided arbitrary string. اسم metric units و temporality وال bucket boundaries لازم تكون واضحة. لا تنشئ Meter لكل request؛ اجعله long-lived حسب lifecycle.
Distributed Tracing و Span Context
Trace تتكون من spans؛ كل span تمثل operation بوقت البداية والنهاية و attributes/events/status. Parent-child relationship يوضح call graph. W3C Trace Context يستخدم traceparent و tracestate لنقل context عبر HTTP. ASP.NET Core و HttpClient instrumentation يمكن أن ينشئا spans تلقائيًا. لو service لا تمرر trace context، تنقطع الرحلة عندها.
لا تضف span لكل function صغيرة؛ instrumentation يجب تمثل boundaries مهمة: inbound HTTP، database query، external API، message publish/consume، background job. أضف attributes آمنة مثل dependency name و operation type، ولا تضع PII في span attributes. Sampling يقلل volume لكنه قد يخفي rare errors؛ tail-based sampling يمكن أن يحتفظ traces التي بها errors/slow spans عند backend داعم.
قراءة Distributed Trace: من Span بطيء إلى Root Cause
ابدأ بالـ root span وحدد critical path، ثم قارن durations للـ child spans. Span طويلة لا تعني أن الكود داخلها CPU-bound؛ قد تكون انتظار network أو queue أو lock. قارن server span و client span لتحديد هل التأخير قبل الإرسال أو في downstream. افحص retries المتكررة لأنها قد تضخم duration وتخفي first failure.
إذا trace مفقودة بين الخدمات، تحقق من propagation headers و sampling و instrumentation. لو كل spans موجودة لكن correlation IDs لا تظهر في logs، اربط Activity trace/span IDs في structured logging. لا تستنتج causal ordering من timestamps وحدها بسبب clock skew؛ trace parent-child relationship هي الدليل الأقوى.
معمل End-to-End: تتبع طلب من API إلى SQL و HTTP Dependency
سيناريو المعمل: العميل يطلب GET /api/orders/{id}؛ الـ API تقرأ order من EF Core ثم تستعلم عن shipping provider عبر HttpClient. نريد معرفة هل التأخير داخل API أم SQL أم مزود الشحن، وهل زادت الأخطاء، وهل المشكلة عامة أم في dependency واحدة.
المسار: ASP.NET Core request instrumentation → application Activity → EF Core/HttpClient instrumentation → OTLP exporter → OpenTelemetry Collector → backend مثل Jaeger/Tempo للـ traces و Prometheus للـ metrics و Loki/Seq للـ logs. يمكن استخدام Azure Application Insights بدل بعض المكونات؛ لا تحتاج تشغيل كل الأدوات مرة واحدة.
- Trace: رحلة request الواحدة وتتكون من spans مترابطة.
- Metric: أرقام مجمعة عبر الزمن مثل request rate و error rate و duration histogram.
- Log: event تشخيصي مع سياق منظم.
لا تضع order ID أو user ID أو email كـ metric label؛ cardinality قد تنفجر. identifiers في trace/log تخضع لسياسة الخصوصية والاحتفاظ. لا تسجل access token أو connection string مطلقًا.
HTTP GET /api/orders/42 420 ms
├─ ASP.NET Core request 420 ms
├─ EF Core SELECT Orders 35 ms
├─ HttpClient GET shipping-provider 360 ms
└─ response serialization 5 ms
Interpretation:
- Most latency is in the shipping dependency.
- Check its error/timeout rate and connection reuse.
- Do not assume the database is slow because the endpoint is slow.OpenTelemetry في ASP.NET Core
OpenTelemetry معيار مفتوح لـ traces/metrics/logs و context propagation. في .NET يمكن إضافة instrumentation لـ ASP.NET Core و HttpClient و runtime، وتصدير عبر OTLP إلى collector/backend. ده يقلل vendor lock-in: التطبيق يصدر OTLP، وال collector يوجه إلى Azure Monitor أو Google Cloud أو Grafana/Tempo/Prometheus-compatible stack حسب setup.
using OpenTelemetry.Metrics;
using OpenTelemetry.Resources;
using OpenTelemetry.Trace;
builder.Services.AddOpenTelemetry()
.ConfigureResource(resource => resource
.AddService(serviceName: "myshop-api", serviceVersion: "1.0.0"))
.WithTracing(tracing => tracing
.AddAspNetCoreInstrumentation()
.AddHttpClientInstrumentation()
.AddOtlpExporter())
.WithMetrics(metrics => metrics
.AddAspNetCoreInstrumentation()
.AddHttpClientInstrumentation()
.AddRuntimeInstrumentation()
.AddOtlpExporter());الـ code يحتاج packages المناسبة مثل OpenTelemetry.Extensions.Hosting و instrumentation/exporter packages المتوافقة مع target. AddOtlpExporter() يعتمد على OTEL_EXPORTER_OTLP_ENDPOINT أو configuration. لا تنس metrics/logs pipeline إذا تريدها؛ المثال يهيئ traces/metrics فقط. راجع package version و collector/exporter configuration قبل الإنتاج.
استخدم ActivitySource لإنشاء custom spans حول business operation مهم، و Meter لإنشاء metrics. لا تنشئ telemetry باسم dynamic لكل customer/tenant. اختبر أن trace IDs تنتقل إلى background messages عبر message headers إذا تحتاج end-to-end tracing.
OpenTelemetry في .NET: من Request إلى Dependency Span
الـ Trace يمثل رحلة request عبر خدمات متعددة، والـ Span يمثل عملية داخل الرحلة. ASP.NET Core instrumentation ينشئ server span، و HttpClient instrumentation ينشئ client span، و EF Core instrumentation قد يسجل database activity بحسب المكتبات والإعداد. W3C Trace Context ينقل traceparent عبر HTTP. لو خدمة لا تمرر context، تنقطع الرحلة إلى traces منفصلة.
var builder = WebApplication.CreateBuilder(args);
builder.Services.AddOpenTelemetry()
.ConfigureResource(resource => resource
.AddService(serviceName: "myshop-api"))
.WithTracing(tracing => tracing
.AddAspNetCoreInstrumentation()
.AddHttpClientInstrumentation()
.AddEntityFrameworkCoreInstrumentation()
.AddOtlpExporter());تأكد من إضافة packages المناسبة وتكوين OTLP endpoint عبر environment/configuration، ولا تضع endpoint أو credentials في source. أسماء APIs قد تختلف حسب إصدار OpenTelemetry packages. في production اختر sampling strategy واعية بالحجم؛ head sampling يقلل الحجم مبكرًا لكنه قد يفوّت rare errors، بينما tail sampling يحتاج collector state/resources ويستطيع الاحتفاظ بالـ traces التي تحتوي errors أو latency عالية.
لا تسجل كل request body افتراضيًا؛ هذا قد يسرّب PII ويزيد التكلفة. استخدم allowlist للـ attributes، واحذف Authorization و Cookie و password و token. اجعل trace IDs في logs لربط السجل بالـ trace، لكن لا تستخدم trace ID كـ metric label لأنه عالي cardinality.
OpenTelemetry: Traces و Metrics و Logs مترابطة
Logs أحداث discrete تساعد على تفسير ما حدث. Metrics قياسات رقمية مجمعة مناسبة للتنبيه والاتجاهات. Traces تربط spans عبر request وخدمات متعددة. الثلاثة تكمل بعضها؛ لا تحاول تخزين كل event كـ metric label لأن cardinality ستنفجر. استخدم trace ID في structured logs واربط spans بالـ parent context.
OpenTelemetry يوفر APIs/SDKs و instrumentation و exporters؛ backend التخزين والعرض قد يكون Azure Monitor أو GCP Cloud Monitoring أو Jaeger/Tempo/Prometheus-compatible stack. افصل instrumentation عن vendor exporter قدر الإمكان. فعّل W3C Trace Context propagation، لكن لا تثق في incoming baggage غير الموثوق كحامل أسرار أو user identity.
private static readonly ActivitySource Source = new("Shop.Checkout");
public async Task<OrderResult> PlaceAsync(PlaceOrder command, CancellationToken ct)
{
using var activity = Source.StartActivity("checkout.place-order");
activity?.SetTag("checkout.channel", command.Channel);
activity?.SetTag("order.item_count", command.Items.Count);
// Do not tag email, card number, access token or raw customer identifiers.
var result = await _handler.HandleAsync(command, ct);
activity?.SetTag("checkout.outcome", result.Status);
return result;
}أضف instrumentation حول boundaries ذات القيمة: inbound HTTP، outbound HTTP، database، queue processing. لا تنشئ span لكل method صغيرة. sampling strategy يجب تحافظ على errors/slow traces بقدر الإمكان، مع مراعاة التكلفة والخصوصية.
.NET Instrumentation: ASP.NET Core و HttpClient و EF Core
ابدأ بـ automatic instrumentation للـ ASP.NET Core requests و HttpClient و EF Core حسب OpenTelemetry packages المستخدمة، ثم أضف custom spans حول business operations المهمة. استخدم ActivitySource باسم ثابت، و Meter لقياسات application. لا تنشئ metric لكل customer/order؛ استخدم bounded labels مثل payment method أو result category إذا كانت قيمها محدودة ومسموح بها.
private static readonly Meter Meter = new("Shop.Payments");
private static readonly Counter<long> Attempts =
Meter.CreateCounter<long>("payment.attempts");
public void RecordAttempt(string provider, string outcome)
{
// provider/outcome must come from a bounded allow-list.
Attempts.Add(1,
new KeyValuePair<string, object?>("provider", provider),
new KeyValuePair<string, object?>("outcome", outcome));
}راجع package versions و exporter configuration وفق target framework؛ instrumentation APIs مستقرة نسبيًا لكن إعدادات exporter تختلف. اختبر أن telemetry لا تمنع request عند تعطل collector (export should be bounded/non-blocking حسب exporter)، وأن shutdown flush لا يتجاوز grace period.
إعداد OpenTelemetry في ASP.NET Core
ثبت packages متوافقة مع target framework ونسخة OpenTelemetry التي تعتمدها: OpenTelemetry.Extensions.Hosting، و instrumentation الخاص بـ ASP.NET Core و HttpClient و EF Core، و OTLP exporter. ثبّت versions صريحة وراجع release notes؛ لا تخلط major versions عشوائيًا.
using OpenTelemetry.Metrics;
using OpenTelemetry.Resources;
using OpenTelemetry.Trace;
var builder = WebApplication.CreateBuilder(args);
builder.Services.AddOpenTelemetry()
.ConfigureResource(resource => resource
.AddService(
serviceName: "orders-api",
serviceVersion: typeof(Program).Assembly.GetName().Version?.ToString() ?? "unknown"))
.WithTracing(tracing => tracing
.AddAspNetCoreInstrumentation()
.AddHttpClientInstrumentation()
.AddEntityFrameworkCoreInstrumentation()
.AddSource("MyShop.Orders")
.AddOtlpExporter())
.WithMetrics(metrics => metrics
.AddAspNetCoreInstrumentation()
.AddHttpClientInstrumentation()
.AddRuntimeInstrumentation()
.AddMeter("MyShop.Orders")
.AddOtlpExporter());
var app = builder.Build();
app.MapGet("/health/live", () => Results.Ok(new { status = "live" }));
app.MapGet("/api/orders/{id:int}", async (int id, IOrderService orders) =>
await orders.GetAsync(id) is { } order
? Results.Ok(order)
: Results.NotFound());
app.Run();المثال يوضح registration الأساسي؛ بعض instrumentations قد تحتاج package منفصلًا أو options إضافية حسب الإصدار. فعّل exporter endpoint عبر configuration/secret management، ولا تضع credentials في source control. SQL statement capture قد يحتوي بيانات حساسة ويزيد overhead؛ راجع options قبل تفعيله. تحقق أن trace تظهر باسم service و version الصحيحين.
Custom Activity و Metrics للأحداث المهمة في الـ Business
framework instrumentation تعرف أن endpoint استقبل request لكنها لا تعرف معنى business operation. أضف Activity حول خطوة مثل حساب shipping quote، وأضف counters/histograms لأحداث bounded مثل عدد عمليات التسعير ومدة العملية، وليس لكل order ID.
using System.Diagnostics;
using System.Diagnostics.Metrics;
public static class OrderTelemetry
{
public static readonly ActivitySource Activities = new("MyShop.Orders");
public static readonly Meter Meter = new("MyShop.Orders");
public static readonly Counter<long> QuotesRequested =
Meter.CreateCounter<long>("orders.shipping_quotes", "{quote}");
public static readonly Histogram<double> QuoteDuration =
Meter.CreateHistogram<double>("orders.shipping_quote.duration", "ms");
}
public async Task<Quote> GetQuoteAsync(Order order, CancellationToken ct)
{
using var activity = OrderTelemetry.Activities.StartActivity("shipping.quote");
activity?.SetTag("shipping.provider", _provider.Name);
var started = Stopwatch.GetTimestamp();
try
{
var quote = await _provider.GetQuoteAsync(order, ct);
OrderTelemetry.QuotesRequested.Add(1, new("result", "success"));
return quote;
}
catch (Exception ex)
{
activity?.SetStatus(ActivityStatusCode.Error);
activity?.RecordException(ex);
OrderTelemetry.QuotesRequested.Add(1, new("result", "failure"));
throw;
}
finally
{
OrderTelemetry.QuoteDuration.Record(
Stopwatch.GetElapsedTime(started).TotalMilliseconds);
}
}المثال يفترض وجود _provider و Order و Quote ومرجع System.Diagnostics. في production استخدم tags محدودة القيم مثل provider/result، ولا تضف orderId أو customerId كـ metric dimension. مرر CancellationToken إلى downstream، وسجل timeout منفصلًا عن business decline. لا تضف exception message بالكامل إلى span tags.
تشغيل Observability Stack محليًا بـ Docker Compose
بدل ما تكتفي برسم architecture، شغّل stack محليًا: التطبيق يرسل OTLP إلى OpenTelemetry Collector؛ الـ Collector يصدّر traces إلى Jaeger ويعرض metrics endpoint لـ Prometheus؛ Grafana يقرأ Prometheus. هذا lab للتعلم المحلي وليس production hardening؛ لا تعرض Grafana/Jaeger على شبكة عامة ولا تضع credentials حقيقية في compose.
services:
otel-collector:
image: otel/opentelemetry-collector-contrib:0.120.0
command: ["--config=/etc/otelcol-contrib/config.yaml"]
volumes:
- ./otel-collector.yaml:/etc/otelcol-contrib/config.yaml:ro
ports:
- "4317:4317"
- "4318:4318"
- "8889:8889"
depends_on: [jaeger]
jaeger:
image: jaegertracing/all-in-one:1.65
environment:
COLLECTOR_OTLP_ENABLED: "true"
ports:
- "16686:16686"
prometheus:
image: prom/prometheus:v3.1.0
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
ports: ["9090:9090"]
depends_on: [otel-collector]
grafana:
image: grafana/grafana:11.5.1
ports: ["3000:3000"]
depends_on: [prometheus]receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
processors:
batch: {}
exporters:
debug:
verbosity: basic
otlp/jaeger:
endpoint: jaeger:4317
tls:
insecure: true
prometheus:
endpoint: 0.0.0.0:8889
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch]
exporters: [otlp/jaeger, debug]
metrics:
receivers: [otlp]
processors: [batch]
exporters: [prometheus, debug]global:
scrape_interval: 15s
scrape_configs:
- job_name: otel-collector
static_configs:
- targets: ["otel-collector:8889"]شغّل docker compose -f docker-compose.observability.yml up -d، افتح Jaeger على localhost:16686 و Prometheus على localhost:9090 و Grafana على localhost:3000. وجّه تطبيق .NET إلى http://localhost:4317 للـ gRPC أو http://localhost:4318 للـ HTTP حسب exporter protocol. أرسل request واحدًا ثم تحقق من trace و metrics. قد تحتاج ضبط OTLP protocol صراحةً حسب package/version.
في production أضف auth/TLS، persistent storage، resource limits، retention، sampling، exporter retry/queue، secrets management، network policies، و collector HA. راجع image tags وتوافق الإصدارات قبل الاعتماد؛ هذه النسخ pinned لأجل reproducibility في lab وليست ادعاء بأنها أحدث إصدار.
RED و USE Methodologies
RED للـ request-driven services: Rate (requests/sec)، Errors (error rate)، Duration (latency distribution). USE للموارد: Utilization، Saturation، Errors. لقاعدة البيانات راقب connection pool saturation، lock waits، query duration، deadlocks. لل queue راقب backlog/oldest message age/consumer throughput/retry/dead-letter count.
لا تبدأ بـ 80 dashboards. حدد أهم user journeys/dependencies ثم اختر 3–5 metrics لكل boundary. مثال: Orders API rate/errors/p95؛ SQL pool active/waiting/timeout؛ Service Bus backlog/age/dead-letter. اربط metrics بالـ SLOs حتى تعرف أي رقم مهم للمستخدم.
SLI و SLO و SLA و Error Budget
SLI مؤشر مقاس مثل نسبة requests الصحيحة خلال نافذة زمنية أو p95 latency. SLO هدف داخلي مثل 99.9% availability في 30 يومًا. SLA التزام تعاقدي قد يتضمن credits/penalties. Error budget هو مقدار الفشل المسموح به ضمن SLO؛ يساعد الفريق يوازن feature velocity و reliability work.
اختَر denominator صحيحًا: لا تحسب health probes و internal retries كأنها user requests. صنف traffic: successful user-visible operations، expected 4xx validation، dependency failures. لا تجعل SLO latency مبنيًا على average فقط. استخدم multi-window burn-rate alerts لتكتشف استنزاف error budget بسرعة أو تدريجيًا.
Availability 99.9% لا تعني أن كل user request تنجح؛ هي budget على مستوى window. وضح measurement scope و exclusions و regions و dependencies. SLO بدون owner/runbook/alerting مجرد رقم في dashboard.
SLI/SLO و Alerting: تنبّه إلى أثر المستخدم لا ضوضاء الخادم
SLI مقياس يصف تجربة المستخدم مثل نسبة الطلبات الناجحة أو latency عند percentile محدد. SLO هدف داخلي خلال نافذة زمنية، مثل 99.9% availability على 30 يومًا. SLA اتفاق خارجي وقد يرتبط بتعويضات. لا تخلط بينهم. Error budget هو المساحة المتبقية للفشل المسموح وفق SLO؛ استهلاكه السريع قد يوقف features جديدة لصالح reliability.
Alert جيد يجيب: ما الخدمة المتأثرة؟ ما الأثر؟ ما threshold والنافذة؟ ما أول إجراء؟ مثال: تنبيه على نسبة 5xx المرتفعة لمدة 5 دقائق مع عدد requests كافٍ أفضل من تنبيه على CPU 80% وحده. CPU قد يرتفع طبيعيًا بلا أثر. اربط alert بـ runbook فيه dashboard ورابط trace وخطوات mitigation ومالك الخدمة.
استخدم multi-window burn-rate alerts لتجنب الإنذار من spike صغير أو تجاهل تدهور سريع. لا تضع كل metric كـ alert؛ dashboard للمراقبة والتحليل، alert لحالة تحتاج تدخلًا. راجع false positives و missed incidents بعد كل حادثة، ولا تعاقب الأفراد على postmortem؛ ابحث عن ظروف النظام التي سمحت بالخطأ.
SLI و SLO و Error Budget: Alert على أثر المستخدم
SLI مقياس فعلي مثل نسبة requests الناجحة أو latency تحت threshold. SLO هدف خلال نافذة زمنية، مثل 99.9% availability على 30 يومًا. Error budget هو الجزء المسموح من الفشل. لا تخلط SLO مع SLA التعاقدي؛ SLA له التزامات وتعويضات. اختَر indicators تعكس تجربة المستخدم وليس CPU وحده.
Alert مفيد عندما يتطلب action الآن. استخدم burn-rate alerts لرصد استهلاك error budget بسرعة وببطء، وتجنب alert على كل spike صغير. كل alert يجب يملك owner و runbook ورابط dashboard ودرجة severity. راجع false positives و missed incidents بعد كل outage.
SLI: successful eligible HTTP requests / all eligible HTTP requests
SLO: 99.9% over rolling 30 days
Error budget: 0.1% of eligible requests
Fast burn: page on-call when budget is consumed rapidly
Slow burn: ticket when budget erosion persists
Exclude only explicitly documented traffic (e.g. health probes)حدد denominator بدقة: هل 4xx الناتجة عن user validation تعتبر failure؟ هل dependency timeout 5xx؟ لا تغير تعريف SLI أثناء incident لتبدو الخدمة أفضل. اربط alert بالـ business-critical paths مثل checkout/payment بدل متوسط كل endpoints.
Alerting و Dashboards و Runbooks
Alert جيدة لها severity، user impact، threshold/window، owner، runbook link، dedup/suppression policy و notification target. Alert على CPU 80% قد تكون noise لو latency طبيعية؛ alert على error budget burn أو queue age متزايد قد تكون أكثر ارتباطًا بالمستخدم. تجنب paging على كل transient spike.
Dashboard يجب تساعد سؤالًا محددًا: هل الخدمة سليمة؟ أين bottleneck؟ ما الذي تغير بعد release؟ ضع top-level golden signals ثم drill-down dependencies. لا تضع عشرات charts بلا ترتيب. استخدم release annotations/deployment markers لربط change بال metrics.
Runbook يوضح أول خطوات investigation، commands/queries، escalation، rollback criteria، data safety warnings و communication. اختبر runbook في game day؛ document لم يتم استخدامه قد يكون قديمًا.
Dashboard Design: ابدأ بسؤال المستخدم ثم انزل إلى التفاصيل
Dashboard الخدمة تبدأ بمؤشرات user-facing: success rate، p95/p99 latency، throughput، و business completion. المستوى التالي dependency health: database duration/errors، cache hit/miss، queue age، external API latency. المستوى الثالث saturation: CPU/memory/thread pool/connection pool. لا تضع 40 chart بلا ترتيب؛ اجعل كل panel يجيب سؤالًا ويساعد على قرار.
وحّد time range و timezone، واستخدم annotations للـ deployments/incidents. أضف links من alert إلى dashboard/runbook، ووضح metric definitions و filters. Dashboard لا ينبغي أن تعتمد على label cardinality غير bounded. اختبر أن panel لا تختفي بصمت عند تغيير metric name أو exporter version.
من Metric إلى Alert ثم Runbook: كيف تتعامل مع Incident؟
ابدأ بـ SLI واضح: نسبة طلبات /api/orders الناجحة و p95 latency. مثال SLO تدريبي: 99.9% من الطلبات خلال 30 يومًا تنجح و p95 أقل من 500ms. الأرقام افتراضية وليست توصية عامة؛ اختر SLO حسب توقعات المستخدمين وقدرة النظام.
Alert جيد يصف user impact ويقلل noise ويرتبط بإجراء. لا تنبه على CPU 80% وحده دون سياق؛ قد تكون الخدمة مستقرة. استخدم error-rate/latency symptoms أو multi-window burn-rate، مع alert منفصل عند فشل telemetry نفسها.
groups:
- name: orders-api
rules:
- alert: OrdersApiHighErrorRate
expr: |
sum(rate(http_server_request_duration_count{http_route="/api/orders/{id}",http_response_status_code=~"5.."}[5m]))
/
clamp_min(sum(rate(http_server_request_duration_count{http_route="/api/orders/{id}"}[5m])), 1)
> 0.03
for: 10m
labels:
severity: page
service: orders-api
annotations:
summary: "Orders API server error ratio is above 3%"
runbook_url: "https://runbooks.example.invalid/orders-api-errors"هذا rule توضيحي؛ أسماء metric/attributes تختلف حسب exporter/version. تحقق من histogram naming وال labels الفعلية قبل اعتماده، وشغّل query على بيانات حقيقية أو test fixture. لا تنسخ expression دون اختبار.
Runbook مختصر عند ارتفاع 5xx
- حدد بداية المشكلة واربطها بآخر deployment أو config change.
- قارن request rate و5xx و p95/p99 قبل وبعد بداية incident.
- افتح trace عينة فاشلة: هل الفشل داخل API أم SQL أم external provider؟
- راجع dependency health و timeouts و connection pool و queue depth.
- لو بدأ بعد release، أوقف rollout أو اعمل rollback وفق سياسة الفريق؛ لا تنفذ DB rollback عشوائيًا.
- بعد الاستقرار، وثّق السبب الجذري والإجراء الوقائي والـ telemetry الناقصة.
Incident Response و Postmortem بلا لوم
وقت incident: عيّن incident commander، قلل blast radius، حافظ على communication، اجمع evidence، واختَر mitigation آمنًا. لا تبدأ بتغييرات عشوائية متعددة؛ غيّر عاملًا واحدًا قدر الإمكان وسجل timestamps. أحيانًا rollback/disable feature/scale capacity هو أسرع mitigation، لكن لا تحذف data أو migrations بلا plan.
Postmortem blameless يركز على system conditions: timeline، impact، detection، contributing factors، what went well، gaps، action items مع owners/due dates. «المطور أخطأ» ليست root cause كافية؛ اسأل لماذا pipeline/tests/permissions/observability سمحت للخطأ بالوصول production.
Incident Response: من Alert إلى Learning Review
أثناء incident: أكد الأثر والنطاق، عيّن incident commander، أوقف التغييرات الخطرة، افحص recent deploys و dependency health و traffic/error/latency، ثم اختر mitigation reversible مثل rollback أو disable feature flag أو limit traffic. لا تبدأ بتحليل root cause طويل بينما user impact مستمر. سجل timeline والقرارات.
بعد الاستعادة، اكتب blameless postmortem: impact، detection gap، timeline، contributing factors، what went well، corrective actions مع owners/dates. لا تكتفِ بـ“developer mistake”. اسأل لماذا سمح النظام بالخطأ ولماذا لم تكتشفه guardrail. اختبر runbook في game day قبل أن تحتاجه.
Telemetry Privacy و Cost
Telemetry data قد تحتوي identifiers و URLs و request bodies و exception messages. حدد data classification، redaction، retention، access controls، residency و deletion policy. لا تستخدم UserId ك metric label، ولا تحفظ passwords/tokens. في distributed tracing، attributes قد تنتقل عبر عدة vendors؛ عاملها كبيانات تشغيلية حساسة.
Cost drivers: log ingestion volume، metric cardinality، trace sampling/retention، high-frequency custom metrics، cross-region egress. قلل noise قبل تقليل visibility: structured levels، sampling، aggregation، cardinality limits و retention tiers. راقب cost per service/team حتى لا تفاجأ بالفاتورة.
Cardinality و Sampling و Redaction
Metric labels يجب تكون bounded مثل route template و status code و region؛ لا تستخدم user ID أو order ID أو raw URL أو exception message ك label. هذه القيم عالية cardinality وتزيد storage/memory. يمكن أن تظهر identifiers في traces/logs مع access controls و retention مناسبين، لكن قلل البيانات الشخصية واعمل redaction قبل export.
Head sampling يقرر في بداية trace وقد يفقد rare errors؛ tail sampling يمكنه الاحتفاظ بالـ error/slow traces لكنه يحتاج collector state وموارد. لا ترفع sampling إلى 100% بلا حساب. احتفظ بـ exemplars أو trace links من latency histogram عند دعم backend. راقب تكلفة ingestion وحجم logs، وضع retention per signal.
Capacity و Cost: Telemetry نفسها لها ميزانية
احسب حجم logs اليومي، metric series cardinality، trace sampling rate، retention، و egress cost. Structured logging لا يعني تسجيل كل object كاملًا. لا تسجل request/response bodies افتراضيًا؛ قد تحتوي بيانات شخصية أو أسرارًا، كما أنها مكلفة. استخدم sampling و redaction و retention حسب signal والأهمية. راقب dropped telemetry و export queue saturation.
Alert fatigue مشكلة تشغيلية: اجمع alerts حسب incident، استخدم hysteresis/for duration، وحدد quiet/noise policies. لا تنبه على CPU 80% دون correlation مع latency أو queue backlog. Dashboard يجب يبدأ بسؤال: هل المستخدمون متأثرون؟ ثم ينتقل إلى service/dependency/node diagnostics.
Telemetry Governance: Privacy و Retention و Access
Logs/traces قد تحمل أسماء أو emails أو request payloads أو tenant IDs. تعامل معها كبيانات production: data classification، redaction، encryption in transit/at rest، least-privilege access، retention windows، audit logs، و deletion requirements. لا تعتمد على أن telemetry “داخلية” وبالتالي لا تحتاج privacy review.
استخدم allow-list للـ attributes المسموح بها، واختبر redaction في integration tests. لا تسجل Authorization headers أو cookies أو password reset tokens. إذا احتجت correlation مع user، استخدم pseudonymous identifier محدود الوصول بدل PII مباشرة. عند مشاركة traces مع vendor، راجع data residency و contract و sampling.
اختبار Observability نفسها
- Generate synthetic request وتأكد trace يظهر من ingress إلى SQL/HTTP dependency.
- ارفع controlled error وتأكد error counter/log/trace status تتحدث.
- اختبر alert rule ببيانات test أو synthetic incident.
- تأكد trace context ينتقل عبر queue message headers إذا مطلوب.
- راجع redaction باختبار token/email fake وتأكد أنها لا تظهر في telemetry.
- اختبر exporter/collector outage: هل application تستمر أم telemetry تسبب request failure؟
- راجع sampling و retention و cardinality limits.
Observability pipeline نفسها dependency؛ لا تجعل exporter network call blocking request path. غالبًا exporters تستخدم batching/background processors، لكن queue overflow/drop behavior يحتاج monitoring. سجل telemetry exporter errors من غير recursion لا نهائي.
اختبار Instrumentation و Alert Rules
اختبر أن request الفاشلة تنتج error metric/span مناسبًا، وأن trace context ينتقل عبر HttpClient، وأن secret redaction تعمل، وأن labels bounded. اختبر alert rules ببيانات synthetic أو rule unit tests إذا backend يدعمها. لا تنتظر incident لتكتشف أن dashboard تعتمد على metric لم تعد تصدرها الخدمة.
راقب instrumentation overhead: latency إضافية، allocation، exporter queue، dropped spans، و network egress. اختبر collector unavailable و backend rate limit؛ التطبيق يجب ألا يتوقف لأن telemetry backend down. اجعل exporter batch/timeout bounded، وقرر ما إذا كانت telemetry best-effort أو audit-grade. Logs العادية ليست سجلًا ماليًا موثوقًا.
اختبر فهمك
ما الفرق بين Logs و Metrics و Traces؟
لماذا لا نضع OrderId كـ metric label؟
ما الفرق بين SLI و SLO و SLA؟
ما فائدة traceparent؟
هل نعمل alert على كل CPU spike؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خريطة التغطية: 16 عنصر من الـ Roadmap ومكان شرحه في الدرس
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.