Software Engineer Encyclopedia
0%
Domain 08 · DevOps, Cloud & Production Engineering · Topic 8.6

Observability & Monitoring: Logs وMetrics وTraces وSLOs

Observability — Operate .NET Systems with Evidence

Logs/metrics/distributed traces، OpenTelemetry، ASP.NET Core instrumentation، RED/USE، cardinality، histograms، correlation، SLIs/SLOs/error budgets، dashboards/alerts، incident response وPII redaction.

  • Advanced
  • ~23 min read
  • 13 sections
  • 15 code examples
  • 1 diagrams
  • 5 questions
  • Priority L2 · Important
  • .NET 10 · OpenTelemetry · OTLP

المتطلبات قبل ما تبدأ

تطبيق backend جاهز للنشر (المجالات 03–05).

مستوى التعمق المطلوب

PRACTICALWhen something breaks in production, you should find the failing request in minutes using logs, a trace, and a metric.

01

Monitoring vs Observability

Understand system behavior from emitted signals
Deep dive

Monitoring يتابع metrics/conditions معروفة مسبقًا: CPU عالي، error rate مرتفع، disk full. Observability تساعدك تستنتج حالة داخلية لم تكن متوقعًا تفاصيلها من telemetry emitted by system. الثلاثة الأساسية: Logs أحداث مفصلة، Metrics قياسات رقمية عبر الزمن، Traces رحلة request عبر services/dependencies. الثلاثة مكملة لبعض وليست بدائل.

في ‎.NET API، لو المستخدم يقول «الطلب بطيء»، تحتاج trace لتعرف أي dependency أخذت الوقت، metric لتعرف هل المشكلة عامة أو route محدد، logs لتفهم business context/error. مجرد Console.WriteLine("Error") لا يكفي، ومجرد dashboard CPU لا يشرح request latency.

Observability Design Review قبل إطلاق Feature

لكل feature اسأل: ما نجاحها من منظور المستخدم؟ ما failure modes؟ ما latency budget؟ ما dependency boundaries؟ ما metric منخفضة cardinality التي تكشف المشكلة؟ ما log event الذي يشرح النتيجة؟ ما trace span الذي يربط الرحلة؟ وما alert الذي يحتاج تدخلًا؟ لا تضف telemetry عشوائية؛ صممها حول أسئلة تشغيلية واضحة.

مثال checkout: عدد محاولات الدفع حسب provider/outcome، نسبة decline مقابل technical error، p95 authorization latency، outbox backlog، duplicate idempotency requests، و order completion rate. لا تخلط decline business outcome مع gateway timeout. dashboard واحدة تجمع هذه signals تعطي صورة أوضح من CPU chart وحده.

Observability Maturity: من Logs متفرقة إلى Feedback Loop

ابدأ بالحد الأدنى: structured logs و request metrics و distributed trace للـ critical path. بعد أول incidents، أضف signals التي كانت ناقصة بدل إضافة كل collector متاح. راجع كل incident: هل alert اكتشفت المشكلة؟ هل trace حدد dependency؟ هل logs كشفت business context؟ هل telemetry نفسها كانت متاحة؟ حوّل الفجوات إلى instrumentation backlog.

راجع dashboards دوريًا واحذف panels التي لا تستخدم، واضبط retention حسب التحقيقات المطلوبة. علّم الفريق قراءة traces و querying logs، ولا تجعل observability معرفة محصورة في SRE واحد. Reliability تتحسن عندما telemetry تقود قرارًا واضحًا ثم يتم قياس أثره.

Telemetry Ownership و Operational Readiness

لكل SLO و alert و dashboard حدد service owner و on-call route و runbook. signal بلا owner لا يضمن استجابة. راجع alert routing عند تغيير الفريق أو service name، واختبر notification channel دوريًا. وثّق escalation و incident severity و communication cadence حتى لا تضيع دقائق أثناء outage في معرفة من المسؤول.

02

الـ telemetry pipeline في رسمة

Telemetry pipeline
Basics
ASP.NET Core APIWorkersAngular (web vitals)OTel Collectorbatch · tail samplingredact attributesTraces backendMetrics + alertsLogs
Apps emit OTLP; the collector batches, samples and redacts; backends store each signal
03

Structured Logging و Log Levels

Searchable events with context
Deep dive

Structured logging يسجل message template مع named properties بدل string interpolation فقط. ده يسمح بالبحث والتجميع حسب OrderId/Route/StatusCode/TraceId. مستويات شائعة: Trace/Debug للتشخيص التفصيلي، Information للأحداث التشغيلية المهمة، Warning لحالة غير طبيعية لكن التطبيق تعافى، Error لفشل عملية، Critical لحدث يهدد الخدمة. اتفق على policy حتى لا يصبح كل log Error.

C#Structured logging with ILogger
public sealed class OrderService(ILogger<OrderService> logger)
{
    public async Task ConfirmAsync(Guid orderId, CancellationToken ct)
    {
        logger.LogInformation("Confirming order {OrderId}", orderId);
        try
        {
            // Execute the use case.
            await Task.CompletedTask;
            logger.LogInformation("Order {OrderId} confirmed", orderId);
        }
        catch (Exception ex)
        {
            logger.LogError(ex, "Failed to confirm order {OrderId}", orderId);
            throw;
        }
    }
}

لا تسجل نفس exception في كل layer؛ سجلها مرة عند boundary الذي يملك قرار التعامل معها، أو أضف context في lower layer بدون تكرار stack traces. لا تسجل passwords/tokens/connection strings/payment data. استخدم redaction، وراجع scopes/properties حتى لا تتسرب sensitive values.

Log volume له cost. لا تسجل كل successful GET على Information في high traffic API بلا sampling/retention plan. احتفظ بـ audit logs للأحداث الأمنية/business المطلوبة وفق retention/immutability requirements، ولا تخلطها مع debug logs القابلة لل sampling.

Structured Logging: Event Names و Scopes و Redaction

استخدم event names مستقرة و structured properties بدل string interpolation فقط. أضف scopes أو trace context لتجميع logs الخاصة بنفس request. لا تستخدم dynamic values في event name، ولا تضع object كاملًا في log. افصل error code الداخلي عن message الموجه للمستخدم. Exception stack trace مفيد داخليًا لكنه قد يحتوي file paths أو SQL أو بيانات حساسة؛ راجع redaction.

C#Structured log with stable event context
logger.LogWarning(
    "Payment authorization failed for provider {Provider} with code {FailureCode}",
    providerName,
    result.FailureCode);

لا تسجل card number أو CVV أو password أو bearer token أو refresh cookie. استخدم allow-list للحقول، وراجع sinks والـ processors قبل export. لا تستخدم log level Error لكل business decline؛ صنف expected business outcomes كـ Information/Warning حسب operational meaning.

04

Metrics: Counters و Gauges و Histograms

Quantify rates, saturation and latency
Deep dive

Counter يزيد monotonically مثل request count/errors؛ Gauge قيمة لحظية مثل active connections/queue depth؛ Histogram يسجل distribution مثل request duration/response size ويتيح percentile approximations حسب bucket configuration. لا تستخدم average وحده لل latency؛ p95/p99 تكشف tail latency التي تؤثر على users.

Metrics labels/dimensions يجب تكون low-cardinality. لا تضع OrderId أو UserId أو raw URL في metric label؛ ده ينشئ time series هائلة ويزيد cost. استخدم route template مثل /orders/{id}، status class، dependency name و region. التفاصيل عالية cardinality مكانها traces/logs مع privacy review.

C#Custom metrics with System.Diagnostics.Metrics
using System.Diagnostics.Metrics;

public sealed class OrderMetrics : IDisposable
{
    private readonly Meter _meter = new("MyShop.Orders", "1.0.0");
    private readonly Counter<long> _created;
    private readonly Histogram<double> _processingMs;

    public OrderMetrics()
    {
        _created = _meter.CreateCounter<long>("orders.created");
        _processingMs = _meter.CreateHistogram<double>("orders.processing.duration", "ms");
    }

    public void OrderCreated(string channel) =>
        _created.Add(1, new KeyValuePair<string, object?>("channel", channel));

    public void RecordDuration(double milliseconds) => _processingMs.Record(milliseconds);
    public void Dispose() => _meter.Dispose();
}

الـ channel يجب أن يكون من مجموعة محدودة مثل web/mobile/admin، وليس customer-provided arbitrary string. اسم metric units و temporality وال bucket boundaries لازم تكون واضحة. لا تنشئ Meter لكل request؛ اجعله long-lived حسب lifecycle.

05

Distributed Tracing و Span Context

Follow a request across boundaries
Deep dive

Trace تتكون من spans؛ كل span تمثل operation بوقت البداية والنهاية و attributes/events/status. Parent-child relationship يوضح call graph. W3C Trace Context يستخدم traceparent و tracestate لنقل context عبر HTTP. ASP.NET Core و HttpClient instrumentation يمكن أن ينشئا spans تلقائيًا. لو service لا تمرر trace context، تنقطع الرحلة عندها.

لا تضف span لكل function صغيرة؛ instrumentation يجب تمثل boundaries مهمة: inbound HTTP، database query، external API، message publish/consume، background job. أضف attributes آمنة مثل dependency name و operation type، ولا تضع PII في span attributes. Sampling يقلل volume لكنه قد يخفي rare errors؛ tail-based sampling يمكن أن يحتفظ traces التي بها errors/slow spans عند backend داعم.

قراءة Distributed Trace: من Span بطيء إلى Root Cause

ابدأ بالـ root span وحدد critical path، ثم قارن durations للـ child spans. Span طويلة لا تعني أن الكود داخلها CPU-bound؛ قد تكون انتظار network أو queue أو lock. قارن server span و client span لتحديد هل التأخير قبل الإرسال أو في downstream. افحص retries المتكررة لأنها قد تضخم duration وتخفي first failure.

إذا trace مفقودة بين الخدمات، تحقق من propagation headers و sampling و instrumentation. لو كل spans موجودة لكن correlation IDs لا تظهر في logs، اربط Activity trace/span IDs في structured logging. لا تستنتج causal ordering من timestamps وحدها بسبب clock skew؛ trace parent-child relationship هي الدليل الأقوى.

معمل End-to-End: تتبع طلب من API إلى SQL و HTTP Dependency

سيناريو المعمل: العميل يطلب GET /api/orders/{id}؛ الـ API تقرأ order من EF Core ثم تستعلم عن shipping provider عبر HttpClient. نريد معرفة هل التأخير داخل API أم SQL أم مزود الشحن، وهل زادت الأخطاء، وهل المشكلة عامة أم في dependency واحدة.

المسار: ASP.NET Core request instrumentation → application Activity → EF Core/HttpClient instrumentation → OTLP exporter → OpenTelemetry Collector → backend مثل Jaeger/Tempo للـ traces و Prometheus للـ metrics و Loki/Seq للـ logs. يمكن استخدام Azure Application Insights بدل بعض المكونات؛ لا تحتاج تشغيل كل الأدوات مرة واحدة.

  • Trace: رحلة request الواحدة وتتكون من spans مترابطة.
  • Metric: أرقام مجمعة عبر الزمن مثل request rate و error rate و duration histogram.
  • Log: event تشخيصي مع سياق منظم.

لا تضع order ID أو user ID أو email كـ metric label؛ cardinality قد تنفجر. identifiers في trace/log تخضع لسياسة الخصوصية والاحتفاظ. لا تسجل access token أو connection string مطلقًا.

TextExpected trace shape
HTTP GET /api/orders/42                 420 ms
  ├─ ASP.NET Core request                 420 ms
  ├─ EF Core SELECT Orders                 35 ms
  ├─ HttpClient GET shipping-provider    360 ms
  └─ response serialization                5 ms

Interpretation:
- Most latency is in the shipping dependency.
- Check its error/timeout rate and connection reuse.
- Do not assume the database is slow because the endpoint is slow.
06

OpenTelemetry في ASP.NET Core

Instrument once, export to different backends
Deep dive

OpenTelemetry معيار مفتوح لـ traces/metrics/logs و context propagation. في ‎.NET يمكن إضافة instrumentation لـ ASP.NET Core و HttpClient و runtime، وتصدير عبر OTLP إلى collector/backend. ده يقلل vendor lock-in: التطبيق يصدر OTLP، وال collector يوجه إلى Azure Monitor أو Google Cloud أو Grafana/Tempo/Prometheus-compatible stack حسب setup.

C#OpenTelemetry setup sketch
using OpenTelemetry.Metrics;
using OpenTelemetry.Resources;
using OpenTelemetry.Trace;

builder.Services.AddOpenTelemetry()
    .ConfigureResource(resource => resource
        .AddService(serviceName: "myshop-api", serviceVersion: "1.0.0"))
    .WithTracing(tracing => tracing
        .AddAspNetCoreInstrumentation()
        .AddHttpClientInstrumentation()
        .AddOtlpExporter())
    .WithMetrics(metrics => metrics
        .AddAspNetCoreInstrumentation()
        .AddHttpClientInstrumentation()
        .AddRuntimeInstrumentation()
        .AddOtlpExporter());

الـ code يحتاج packages المناسبة مثل OpenTelemetry.Extensions.Hosting و instrumentation/exporter packages المتوافقة مع target. AddOtlpExporter() يعتمد على OTEL_EXPORTER_OTLP_ENDPOINT أو configuration. لا تنس metrics/logs pipeline إذا تريدها؛ المثال يهيئ traces/metrics فقط. راجع package version و collector/exporter configuration قبل الإنتاج.

استخدم ActivitySource لإنشاء custom spans حول business operation مهم، و Meter لإنشاء metrics. لا تنشئ telemetry باسم dynamic لكل customer/tenant. اختبر أن trace IDs تنتقل إلى background messages عبر message headers إذا تحتاج end-to-end tracing.

OpenTelemetry في ‎.NET: من Request إلى Dependency Span

الـ Trace يمثل رحلة request عبر خدمات متعددة، والـ Span يمثل عملية داخل الرحلة. ASP.NET Core instrumentation ينشئ server span، و HttpClient instrumentation ينشئ client span، و EF Core instrumentation قد يسجل database activity بحسب المكتبات والإعداد. W3C Trace Context ينقل traceparent عبر HTTP. لو خدمة لا تمرر context، تنقطع الرحلة إلى traces منفصلة.

C#OpenTelemetry registration (illustrative .NET setup)
var builder = WebApplication.CreateBuilder(args);

builder.Services.AddOpenTelemetry()
    .ConfigureResource(resource => resource
        .AddService(serviceName: "myshop-api"))
    .WithTracing(tracing => tracing
        .AddAspNetCoreInstrumentation()
        .AddHttpClientInstrumentation()
        .AddEntityFrameworkCoreInstrumentation()
        .AddOtlpExporter());

تأكد من إضافة packages المناسبة وتكوين OTLP endpoint عبر environment/configuration، ولا تضع endpoint أو credentials في source. أسماء APIs قد تختلف حسب إصدار OpenTelemetry packages. في production اختر sampling strategy واعية بالحجم؛ head sampling يقلل الحجم مبكرًا لكنه قد يفوّت rare errors، بينما tail sampling يحتاج collector state/resources ويستطيع الاحتفاظ بالـ traces التي تحتوي errors أو latency عالية.

لا تسجل كل request body افتراضيًا؛ هذا قد يسرّب PII ويزيد التكلفة. استخدم allowlist للـ attributes، واحذف Authorization و Cookie و password و token. اجعل trace IDs في logs لربط السجل بالـ trace، لكن لا تستخدم trace ID كـ metric label لأنه عالي cardinality.

OpenTelemetry: Traces و Metrics و Logs مترابطة

Logs أحداث discrete تساعد على تفسير ما حدث. Metrics قياسات رقمية مجمعة مناسبة للتنبيه والاتجاهات. Traces تربط spans عبر request وخدمات متعددة. الثلاثة تكمل بعضها؛ لا تحاول تخزين كل event كـ metric label لأن cardinality ستنفجر. استخدم trace ID في structured logs واربط spans بالـ parent context.

OpenTelemetry يوفر APIs/SDKs و instrumentation و exporters؛ backend التخزين والعرض قد يكون Azure Monitor أو GCP Cloud Monitoring أو Jaeger/Tempo/Prometheus-compatible stack. افصل instrumentation عن vendor exporter قدر الإمكان. فعّل W3C Trace Context propagation، لكن لا تثق في incoming baggage غير الموثوق كحامل أسرار أو user identity.

C#Manual Activity span with safe attributes
private static readonly ActivitySource Source = new("Shop.Checkout");

public async Task<OrderResult> PlaceAsync(PlaceOrder command, CancellationToken ct)
{
    using var activity = Source.StartActivity("checkout.place-order");
    activity?.SetTag("checkout.channel", command.Channel);
    activity?.SetTag("order.item_count", command.Items.Count);
    // Do not tag email, card number, access token or raw customer identifiers.
    var result = await _handler.HandleAsync(command, ct);
    activity?.SetTag("checkout.outcome", result.Status);
    return result;
}

أضف instrumentation حول boundaries ذات القيمة: inbound HTTP، outbound HTTP، database، queue processing. لا تنشئ span لكل method صغيرة. sampling strategy يجب تحافظ على errors/slow traces بقدر الإمكان، مع مراعاة التكلفة والخصوصية.

‎.NET Instrumentation: ASP.NET Core و HttpClient و EF Core

ابدأ بـ automatic instrumentation للـ ASP.NET Core requests و HttpClient و EF Core حسب OpenTelemetry packages المستخدمة، ثم أضف custom spans حول business operations المهمة. استخدم ActivitySource باسم ثابت، و Meter لقياسات application. لا تنشئ metric لكل customer/order؛ استخدم bounded labels مثل payment method أو result category إذا كانت قيمها محدودة ومسموح بها.

C#Custom meter with bounded outcome dimension
private static readonly Meter Meter = new("Shop.Payments");
private static readonly Counter<long> Attempts =
    Meter.CreateCounter<long>("payment.attempts");

public void RecordAttempt(string provider, string outcome)
{
    // provider/outcome must come from a bounded allow-list.
    Attempts.Add(1,
        new KeyValuePair<string, object?>("provider", provider),
        new KeyValuePair<string, object?>("outcome", outcome));
}

راجع package versions و exporter configuration وفق target framework؛ instrumentation APIs مستقرة نسبيًا لكن إعدادات exporter تختلف. اختبر أن telemetry لا تمنع request عند تعطل collector (export should be bounded/non-blocking حسب exporter)، وأن shutdown flush لا يتجاوز grace period.

إعداد OpenTelemetry في ASP.NET Core

ثبت packages متوافقة مع target framework ونسخة OpenTelemetry التي تعتمدها: OpenTelemetry.Extensions.Hosting، و instrumentation الخاص بـ ASP.NET Core و HttpClient و EF Core، و OTLP exporter. ثبّت versions صريحة وراجع release notes؛ لا تخلط major versions عشوائيًا.

C#Program.cs — tracing and metrics setup
using OpenTelemetry.Metrics;
using OpenTelemetry.Resources;
using OpenTelemetry.Trace;

var builder = WebApplication.CreateBuilder(args);

builder.Services.AddOpenTelemetry()
    .ConfigureResource(resource => resource
        .AddService(
            serviceName: "orders-api",
            serviceVersion: typeof(Program).Assembly.GetName().Version?.ToString() ?? "unknown"))
    .WithTracing(tracing => tracing
        .AddAspNetCoreInstrumentation()
        .AddHttpClientInstrumentation()
        .AddEntityFrameworkCoreInstrumentation()
        .AddSource("MyShop.Orders")
        .AddOtlpExporter())
    .WithMetrics(metrics => metrics
        .AddAspNetCoreInstrumentation()
        .AddHttpClientInstrumentation()
        .AddRuntimeInstrumentation()
        .AddMeter("MyShop.Orders")
        .AddOtlpExporter());

var app = builder.Build();
app.MapGet("/health/live", () => Results.Ok(new { status = "live" }));
app.MapGet("/api/orders/{id:int}", async (int id, IOrderService orders) =>
    await orders.GetAsync(id) is { } order
        ? Results.Ok(order)
        : Results.NotFound());
app.Run();

المثال يوضح registration الأساسي؛ بعض instrumentations قد تحتاج package منفصلًا أو options إضافية حسب الإصدار. فعّل exporter endpoint عبر configuration/secret management، ولا تضع credentials في source control. SQL statement capture قد يحتوي بيانات حساسة ويزيد overhead؛ راجع options قبل تفعيله. تحقق أن trace تظهر باسم service و version الصحيحين.

Custom Activity و Metrics للأحداث المهمة في الـ Business

framework instrumentation تعرف أن endpoint استقبل request لكنها لا تعرف معنى business operation. أضف Activity حول خطوة مثل حساب shipping quote، وأضف counters/histograms لأحداث bounded مثل عدد عمليات التسعير ومدة العملية، وليس لكل order ID.

C#Custom ActivitySource and Meter
using System.Diagnostics;
using System.Diagnostics.Metrics;

public static class OrderTelemetry
{
    public static readonly ActivitySource Activities = new("MyShop.Orders");
    public static readonly Meter Meter = new("MyShop.Orders");
    public static readonly Counter<long> QuotesRequested =
        Meter.CreateCounter<long>("orders.shipping_quotes", "{quote}");
    public static readonly Histogram<double> QuoteDuration =
        Meter.CreateHistogram<double>("orders.shipping_quote.duration", "ms");
}

public async Task<Quote> GetQuoteAsync(Order order, CancellationToken ct)
{
    using var activity = OrderTelemetry.Activities.StartActivity("shipping.quote");
    activity?.SetTag("shipping.provider", _provider.Name);
    var started = Stopwatch.GetTimestamp();
    try
    {
        var quote = await _provider.GetQuoteAsync(order, ct);
        OrderTelemetry.QuotesRequested.Add(1, new("result", "success"));
        return quote;
    }
    catch (Exception ex)
    {
        activity?.SetStatus(ActivityStatusCode.Error);
        activity?.RecordException(ex);
        OrderTelemetry.QuotesRequested.Add(1, new("result", "failure"));
        throw;
    }
    finally
    {
        OrderTelemetry.QuoteDuration.Record(
            Stopwatch.GetElapsedTime(started).TotalMilliseconds);
    }
}

المثال يفترض وجود _provider و Order و Quote ومرجع System.Diagnostics. في production استخدم tags محدودة القيم مثل provider/result، ولا تضف orderId أو customerId كـ metric dimension. مرر CancellationToken إلى downstream، وسجل timeout منفصلًا عن business decline. لا تضف exception message بالكامل إلى span tags.

تشغيل Observability Stack محليًا بـ Docker Compose

بدل ما تكتفي برسم architecture، شغّل stack محليًا: التطبيق يرسل OTLP إلى OpenTelemetry Collector؛ الـ Collector يصدّر traces إلى Jaeger ويعرض metrics endpoint لـ Prometheus؛ Grafana يقرأ Prometheus. هذا lab للتعلم المحلي وليس production hardening؛ لا تعرض Grafana/Jaeger على شبكة عامة ولا تضع credentials حقيقية في compose.

YAMLdocker-compose.observability.yml
services:
  otel-collector:
    image: otel/opentelemetry-collector-contrib:0.120.0
    command: ["--config=/etc/otelcol-contrib/config.yaml"]
    volumes:
      - ./otel-collector.yaml:/etc/otelcol-contrib/config.yaml:ro
    ports:
      - "4317:4317"
      - "4318:4318"
      - "8889:8889"
    depends_on: [jaeger]

  jaeger:
    image: jaegertracing/all-in-one:1.65
    environment:
      COLLECTOR_OTLP_ENABLED: "true"
    ports:
      - "16686:16686"

  prometheus:
    image: prom/prometheus:v3.1.0
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
    ports: ["9090:9090"]
    depends_on: [otel-collector]

  grafana:
    image: grafana/grafana:11.5.1
    ports: ["3000:3000"]
    depends_on: [prometheus]
YAMLotel-collector.yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318
processors:
  batch: {}
exporters:
  debug:
    verbosity: basic
  otlp/jaeger:
    endpoint: jaeger:4317
    tls:
      insecure: true
  prometheus:
    endpoint: 0.0.0.0:8889
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/jaeger, debug]
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [prometheus, debug]
YAMLprometheus.yml
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: otel-collector
    static_configs:
      - targets: ["otel-collector:8889"]

شغّل docker compose -f docker-compose.observability.yml up -d، افتح Jaeger على localhost:16686 و Prometheus على localhost:9090 و Grafana على localhost:3000. وجّه تطبيق ‎.NET إلى http://localhost:4317 للـ gRPC أو http://localhost:4318 للـ HTTP حسب exporter protocol. أرسل request واحدًا ثم تحقق من trace و metrics. قد تحتاج ضبط OTLP protocol صراحةً حسب package/version.

في production أضف auth/TLS، persistent storage، resource limits، retention، sampling، exporter retry/queue، secrets management، network policies، و collector HA. راجع image tags وتوافق الإصدارات قبل الاعتماد؛ هذه النسخ pinned لأجل reproducibility في lab وليست ادعاء بأنها أحدث إصدار.

07

RED و USE Methodologies

Start with a small set of high-value signals
Deep dive

RED للـ request-driven services: Rate (requests/sec)، Errors (error rate)، Duration (latency distribution). USE للموارد: Utilization، Saturation، Errors. لقاعدة البيانات راقب connection pool saturation، lock waits، query duration، deadlocks. لل queue راقب backlog/oldest message age/consumer throughput/retry/dead-letter count.

لا تبدأ بـ 80 dashboards. حدد أهم user journeys/dependencies ثم اختر 3–5 metrics لكل boundary. مثال: Orders API rate/errors/p95؛ SQL pool active/waiting/timeout؛ Service Bus backlog/age/dead-letter. اربط metrics بالـ SLOs حتى تعرف أي رقم مهم للمستخدم.

08

SLI و SLO و SLA و Error Budget

Reliability targets that guide decisions
Deep dive

SLI مؤشر مقاس مثل نسبة requests الصحيحة خلال نافذة زمنية أو p95 latency. SLO هدف داخلي مثل 99.9% availability في 30 يومًا. SLA التزام تعاقدي قد يتضمن credits/penalties. Error budget هو مقدار الفشل المسموح به ضمن SLO؛ يساعد الفريق يوازن feature velocity و reliability work.

اختَر denominator صحيحًا: لا تحسب health probes و internal retries كأنها user requests. صنف traffic: successful user-visible operations، expected 4xx validation، dependency failures. لا تجعل SLO latency مبنيًا على average فقط. استخدم multi-window burn-rate alerts لتكتشف استنزاف error budget بسرعة أو تدريجيًا.

Availability 99.9% لا تعني أن كل user request تنجح؛ هي budget على مستوى window. وضح measurement scope و exclusions و regions و dependencies. SLO بدون owner/runbook/alerting مجرد رقم في dashboard.

SLI/SLO و Alerting: تنبّه إلى أثر المستخدم لا ضوضاء الخادم

SLI مقياس يصف تجربة المستخدم مثل نسبة الطلبات الناجحة أو latency عند percentile محدد. SLO هدف داخلي خلال نافذة زمنية، مثل 99.9% availability على 30 يومًا. SLA اتفاق خارجي وقد يرتبط بتعويضات. لا تخلط بينهم. Error budget هو المساحة المتبقية للفشل المسموح وفق SLO؛ استهلاكه السريع قد يوقف features جديدة لصالح reliability.

Alert جيد يجيب: ما الخدمة المتأثرة؟ ما الأثر؟ ما threshold والنافذة؟ ما أول إجراء؟ مثال: تنبيه على نسبة 5xx المرتفعة لمدة 5 دقائق مع عدد requests كافٍ أفضل من تنبيه على CPU 80% وحده. CPU قد يرتفع طبيعيًا بلا أثر. اربط alert بـ runbook فيه dashboard ورابط trace وخطوات mitigation ومالك الخدمة.

استخدم multi-window burn-rate alerts لتجنب الإنذار من spike صغير أو تجاهل تدهور سريع. لا تضع كل metric كـ alert؛ dashboard للمراقبة والتحليل، alert لحالة تحتاج تدخلًا. راجع false positives و missed incidents بعد كل حادثة، ولا تعاقب الأفراد على postmortem؛ ابحث عن ظروف النظام التي سمحت بالخطأ.

SLI و SLO و Error Budget: Alert على أثر المستخدم

SLI مقياس فعلي مثل نسبة requests الناجحة أو latency تحت threshold. SLO هدف خلال نافذة زمنية، مثل 99.9% availability على 30 يومًا. Error budget هو الجزء المسموح من الفشل. لا تخلط SLO مع SLA التعاقدي؛ SLA له التزامات وتعويضات. اختَر indicators تعكس تجربة المستخدم وليس CPU وحده.

Alert مفيد عندما يتطلب action الآن. استخدم burn-rate alerts لرصد استهلاك error budget بسرعة وببطء، وتجنب alert على كل spike صغير. كل alert يجب يملك owner و runbook ورابط dashboard ودرجة severity. راجع false positives و missed incidents بعد كل outage.

TextExample service SLO
SLI: successful eligible HTTP requests / all eligible HTTP requests
SLO: 99.9% over rolling 30 days
Error budget: 0.1% of eligible requests
Fast burn: page on-call when budget is consumed rapidly
Slow burn: ticket when budget erosion persists
Exclude only explicitly documented traffic (e.g. health probes)

حدد denominator بدقة: هل 4xx الناتجة عن user validation تعتبر failure؟ هل dependency timeout 5xx؟ لا تغير تعريف SLI أثناء incident لتبدو الخدمة أفضل. اربط alert بالـ business-critical paths مثل checkout/payment بدل متوسط كل endpoints.

09

Alerting و Dashboards و Runbooks

Page on symptoms, not every metric fluctuation
Deep dive

Alert جيدة لها severity، user impact، threshold/window، owner، runbook link، dedup/suppression policy و notification target. Alert على CPU 80% قد تكون noise لو latency طبيعية؛ alert على error budget burn أو queue age متزايد قد تكون أكثر ارتباطًا بالمستخدم. تجنب paging على كل transient spike.

Dashboard يجب تساعد سؤالًا محددًا: هل الخدمة سليمة؟ أين bottleneck؟ ما الذي تغير بعد release؟ ضع top-level golden signals ثم drill-down dependencies. لا تضع عشرات charts بلا ترتيب. استخدم release annotations/deployment markers لربط change بال metrics.

Runbook يوضح أول خطوات investigation، commands/queries، escalation، rollback criteria، data safety warnings و communication. اختبر runbook في game day؛ document لم يتم استخدامه قد يكون قديمًا.

Dashboard Design: ابدأ بسؤال المستخدم ثم انزل إلى التفاصيل

Dashboard الخدمة تبدأ بمؤشرات user-facing: success rate، p95/p99 latency، throughput، و business completion. المستوى التالي dependency health: database duration/errors، cache hit/miss، queue age، external API latency. المستوى الثالث saturation: CPU/memory/thread pool/connection pool. لا تضع 40 chart بلا ترتيب؛ اجعل كل panel يجيب سؤالًا ويساعد على قرار.

وحّد time range و timezone، واستخدم annotations للـ deployments/incidents. أضف links من alert إلى dashboard/runbook، ووضح metric definitions و filters. Dashboard لا ينبغي أن تعتمد على label cardinality غير bounded. اختبر أن panel لا تختفي بصمت عند تغيير metric name أو exporter version.

من Metric إلى Alert ثم Runbook: كيف تتعامل مع Incident؟

ابدأ بـ SLI واضح: نسبة طلبات /api/orders الناجحة و p95 latency. مثال SLO تدريبي: 99.9% من الطلبات خلال 30 يومًا تنجح و p95 أقل من 500ms. الأرقام افتراضية وليست توصية عامة؛ اختر SLO حسب توقعات المستخدمين وقدرة النظام.

Alert جيد يصف user impact ويقلل noise ويرتبط بإجراء. لا تنبه على CPU 80% وحده دون سياق؛ قد تكون الخدمة مستقرة. استخدم error-rate/latency symptoms أو multi-window burn-rate، مع alert منفصل عند فشل telemetry نفسها.

YAMLPrometheus alert rule — illustrative
groups:
  - name: orders-api
    rules:
      - alert: OrdersApiHighErrorRate
        expr: |
          sum(rate(http_server_request_duration_count{http_route="/api/orders/{id}",http_response_status_code=~"5.."}[5m]))
          /
          clamp_min(sum(rate(http_server_request_duration_count{http_route="/api/orders/{id}"}[5m])), 1)
          > 0.03
        for: 10m
        labels:
          severity: page
          service: orders-api
        annotations:
          summary: "Orders API server error ratio is above 3%"
          runbook_url: "https://runbooks.example.invalid/orders-api-errors"

هذا rule توضيحي؛ أسماء metric/attributes تختلف حسب exporter/version. تحقق من histogram naming وال labels الفعلية قبل اعتماده، وشغّل query على بيانات حقيقية أو test fixture. لا تنسخ expression دون اختبار.

Runbook مختصر عند ارتفاع 5xx

  1. حدد بداية المشكلة واربطها بآخر deployment أو config change.
  2. قارن request rate و5xx و p95/p99 قبل وبعد بداية incident.
  3. افتح trace عينة فاشلة: هل الفشل داخل API أم SQL أم external provider؟
  4. راجع dependency health و timeouts و connection pool و queue depth.
  5. لو بدأ بعد release، أوقف rollout أو اعمل rollback وفق سياسة الفريق؛ لا تنفذ DB rollback عشوائيًا.
  6. بعد الاستقرار، وثّق السبب الجذري والإجراء الوقائي والـ telemetry الناقصة.
أوقف telemetry collector، واجعل shipping provider بطيئًا، وأعد 500 من endpoint. تحقق أن التطبيق يظل يعمل، وأن telemetry loss واضحة، وأن alert لا تتحول إلى آلاف الإشعارات. افصل readiness عن liveness حتى لا تعيد تشغيل كل Pods بسبب dependency خارجية متدهورة.
10

Incident Response و Postmortem بلا لوم

Restore service, learn and prevent recurrence
Deep dive

وقت incident: عيّن incident commander، قلل blast radius، حافظ على communication، اجمع evidence، واختَر mitigation آمنًا. لا تبدأ بتغييرات عشوائية متعددة؛ غيّر عاملًا واحدًا قدر الإمكان وسجل timestamps. أحيانًا rollback/disable feature/scale capacity هو أسرع mitigation، لكن لا تحذف data أو migrations بلا plan.

Postmortem blameless يركز على system conditions: timeline، impact، detection، contributing factors، what went well، gaps، action items مع owners/due dates. «المطور أخطأ» ليست root cause كافية؛ اسأل لماذا pipeline/tests/permissions/observability سمحت للخطأ بالوصول production.

Incident Response: من Alert إلى Learning Review

أثناء incident: أكد الأثر والنطاق، عيّن incident commander، أوقف التغييرات الخطرة، افحص recent deploys و dependency health و traffic/error/latency، ثم اختر mitigation reversible مثل rollback أو disable feature flag أو limit traffic. لا تبدأ بتحليل root cause طويل بينما user impact مستمر. سجل timeline والقرارات.

بعد الاستعادة، اكتب blameless postmortem: impact، detection gap، timeline، contributing factors، what went well، corrective actions مع owners/dates. لا تكتفِ بـ“developer mistake”. اسأل لماذا سمح النظام بالخطأ ولماذا لم تكتشفه guardrail. اختبر runbook في game day قبل أن تحتاجه.

11

Telemetry Privacy و Cost

Collect only useful, safe signals
Deep dive

Telemetry data قد تحتوي identifiers و URLs و request bodies و exception messages. حدد data classification، redaction، retention، access controls، residency و deletion policy. لا تستخدم UserId ك metric label، ولا تحفظ passwords/tokens. في distributed tracing، attributes قد تنتقل عبر عدة vendors؛ عاملها كبيانات تشغيلية حساسة.

Cost drivers: log ingestion volume، metric cardinality، trace sampling/retention، high-frequency custom metrics، cross-region egress. قلل noise قبل تقليل visibility: structured levels، sampling، aggregation، cardinality limits و retention tiers. راقب cost per service/team حتى لا تفاجأ بالفاتورة.

Cardinality و Sampling و Redaction

Metric labels يجب تكون bounded مثل route template و status code و region؛ لا تستخدم user ID أو order ID أو raw URL أو exception message ك label. هذه القيم عالية cardinality وتزيد storage/memory. يمكن أن تظهر identifiers في traces/logs مع access controls و retention مناسبين، لكن قلل البيانات الشخصية واعمل redaction قبل export.

Head sampling يقرر في بداية trace وقد يفقد rare errors؛ tail sampling يمكنه الاحتفاظ بالـ error/slow traces لكنه يحتاج collector state وموارد. لا ترفع sampling إلى 100% بلا حساب. احتفظ بـ exemplars أو trace links من latency histogram عند دعم backend. راقب تكلفة ingestion وحجم logs، وضع retention per signal.

Capacity و Cost: Telemetry نفسها لها ميزانية

احسب حجم logs اليومي، metric series cardinality، trace sampling rate، retention، و egress cost. Structured logging لا يعني تسجيل كل object كاملًا. لا تسجل request/response bodies افتراضيًا؛ قد تحتوي بيانات شخصية أو أسرارًا، كما أنها مكلفة. استخدم sampling و redaction و retention حسب signal والأهمية. راقب dropped telemetry و export queue saturation.

Alert fatigue مشكلة تشغيلية: اجمع alerts حسب incident، استخدم hysteresis/for duration، وحدد quiet/noise policies. لا تنبه على CPU 80% دون correlation مع latency أو queue backlog. Dashboard يجب يبدأ بسؤال: هل المستخدمون متأثرون؟ ثم ينتقل إلى service/dependency/node diagnostics.

Telemetry Governance: Privacy و Retention و Access

Logs/traces قد تحمل أسماء أو emails أو request payloads أو tenant IDs. تعامل معها كبيانات production: data classification، redaction، encryption in transit/at rest، least-privilege access، retention windows، audit logs، و deletion requirements. لا تعتمد على أن telemetry “داخلية” وبالتالي لا تحتاج privacy review.

استخدم allow-list للـ attributes المسموح بها، واختبر redaction في integration tests. لا تسجل Authorization headers أو cookies أو password reset tokens. إذا احتجت correlation مع user، استخدم pseudonymous identifier محدود الوصول بدل PII مباشرة. عند مشاركة traces مع vendor، راجع data residency و contract و sampling.

12

اختبار Observability نفسها

Prove that signals arrive and alerts fire
Practical
  • Generate synthetic request وتأكد trace يظهر من ingress إلى SQL/HTTP dependency.
  • ارفع controlled error وتأكد error counter/log/trace status تتحدث.
  • اختبر alert rule ببيانات test أو synthetic incident.
  • تأكد trace context ينتقل عبر queue message headers إذا مطلوب.
  • راجع redaction باختبار token/email fake وتأكد أنها لا تظهر في telemetry.
  • اختبر exporter/collector outage: هل application تستمر أم telemetry تسبب request failure؟
  • راجع sampling و retention و cardinality limits.

Observability pipeline نفسها dependency؛ لا تجعل exporter network call blocking request path. غالبًا exporters تستخدم batching/background processors، لكن queue overflow/drop behavior يحتاج monitoring. سجل telemetry exporter errors من غير recursion لا نهائي.

اختبار Instrumentation و Alert Rules

اختبر أن request الفاشلة تنتج error metric/span مناسبًا، وأن trace context ينتقل عبر HttpClient، وأن secret redaction تعمل، وأن labels bounded. اختبر alert rules ببيانات synthetic أو rule unit tests إذا backend يدعمها. لا تنتظر incident لتكتشف أن dashboard تعتمد على metric لم تعد تصدرها الخدمة.

راقب instrumentation overhead: latency إضافية، allocation، exporter queue، dropped spans، و network egress. اختبر collector unavailable و backend rate limit؛ التطبيق يجب ألا يتوقف لأن telemetry backend down. اجعل exporter batch/timeout bounded، وقرر ما إذا كانت telemetry best-effort أو audit-grade. Logs العادية ليست سجلًا ماليًا موثوقًا.

13

اختبر فهمك

Knowledge check
Practical
ما الفرق بين Logs و Metrics و Traces؟
Logs أحداث مفصلة؛ Metrics قياسات رقمية زمنية؛ Traces رحلة operation عبر services/spans.
لماذا لا نضع OrderId كـ metric label؟
لأنه عالي cardinality وينشئ time series كثيرة جدًا ويزيد cost ويضعف aggregation.
ما الفرق بين SLI و SLO و SLA؟
SLI قياس؛ SLO هدف reliability داخلي؛ SLA التزام تعاقدي.
ما فائدة traceparent؟
نقل distributed trace context عبر HTTP boundaries لربط spans بين الخدمات.
هل نعمل alert على كل CPU spike؟
لا؛ alert يجب ترتبط بتأثير/سلوك actionable، وليس metric fluctuation بلا سياق.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

مصادر تعليمية ومتقدمة — Third-party & advanced reading

خريطة التغطية: 16 عنصر من الـ Roadmap ومكان شرحه في الدرس
New sectionLogs vs metrics vs traces§01
New sectionStructured logging with Serilog§01
New sectionLog levels and sampling§01
New sectionCorrelation and trace IDs§01
New sectionOpenTelemetry in .NET§01
New sectionOTLP exporters§01
New sectionPrometheus and Grafana§01
New sectionApplication Insights§01
New sectionRED and USE methods§01
New sectionSLI and SLO§01
New sectionAlerting basics§01
New sectionDashboards that answer questions§01
New sectionDistributed tracing across services§01
New sectionLog aggregation: Seq, ELK, Loki§01
New sectionNever log secrets or PII§01
New sectionRunbooks and incident basics§01

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس