Software Engineer Encyclopedia
0%
Domain 01 · Computer Science & Programming Fundamentals · Topic 1.2

شبكات الكمبيوتر للـ Backend Engineer

Computer Networking

كل request بتبعته من الـ Angular للـ API بيعدّي على DNS وTCP وTLS وHTTP وProxy قبل ما يوصل لـ Kestrel. الدرس ده بيربط كل مفهوم شبكات بالأخطاء الحقيقية اللي بتشوفها في الـ production: timeouts وفشل الـ SSL وـ 502 وـ socket exhaustion.

  • Foundation
  • ~28 min read
  • 15 sections
  • 16 code examples
  • 7 diagrams
  • 9 questions
  • Priority L1 · Essential
  • .NET 10 · HTTP/1.1–3 · TLS 1.3

المتطلبات قبل ما تبدأ

مفيش متطلبات — ده أول الطريق. يكفي إنك كتبت كود بأي لغة قبل كده.

مستوى التعمق المطلوب

STRONG FOUNDATIONSConnect networking concepts to real API requests and production errors.

01

OSI Model و TCP/IP

OSI model and the TCP/IP stack
Basics

الشبكة معقدة جداً، فاتقسمت لـ طبقات (layers). كل طبقة بتعمل شغلة واحدة وبتستخدم اللي تحتها وبتخدم اللي فوقها. ده بيخليك تحدد المشكلة فين: «الـ DNS مش شغال» غير «الـ certificate منتهي» غير «الـ firewall قافل البورت».

OSI (7 layers)TCP/IP (4 layers) 7 ApplicationHTTP, DNS, SMTP 6 PresentationTLS, encoding, JSON 5 Sessionsessions, sockets 4 TransportTCP, UDP (ports) 3 NetworkIP, routing, ICMP 2 Data LinkEthernet, Wi-Fi, MAC 1 Physicalcables, radio, bits ApplicationHTTP · TLS · DNS · gRPC Transport — TCP / UDP / QUIC Internet — IP Link — Ethernet / Wi-Fi
OSI (7 layers نظري للتعلم) مقابل TCP/IP (4 layers اللي الإنترنت شغال بيها فعلاً)

Encapsulation

لما تبعت HTTP request، كل طبقة بتلفّ البيانات في header خاص بيها: الـ HTTP message ⇒ جوه TCP segment (ports) ⇒ جوه IP packet (عناوين) ⇒ جوه Ethernet frame (MAC). على الطرف التاني بيتفك العكس.

إزاي تستخدم الطبقات في الـ debugging؟

  • L7: status code غلط، JSON غلط، endpoint مش موجود.
  • L6/TLS: certificate مش موثوق أو منتهي.
  • L4: connection refused / timeout (البورت مقفول أو الـ firewall).
  • L3: مفيش route أو IP غلط (ping/traceroute).
  • DNS: الاسم مش بيتحول لـ IP.
02

IP، Subnets، و NAT

IP addressing, subnet basics, NAT, public vs private
Deep dive

الـ IP address هو عنوان الجهاز على الشبكة. IPv4 هو 32 bit (مكتوب كـ 4 أرقام 192.168.1.10)، و IPv6 هو 128 bit. الـ Subnet هو تقسيم الشبكة لجزأين: network part (ثابت لكل أجهزة الشبكة) و host part (بيميّز الجهاز). الـ CIDR (/24) بيحدد كام bit للـ network.

CIDRSubnet maskTotal addressesUsable hostsمثال
/8255.0.0.016,777,21616,777,21410.0.0.0/8
/16255.255.0.065,53665,534172.16.0.0/16
/24255.255.255.0256254192.168.1.0/24
/26255.255.255.1926462192.168.1.64/26
/32255.255.255.2551—عنوان واحد بالظبط

القاعدة: عدد العناوين = 2^(32 - prefix). وأول عنوان هو network address وآخر عنوان هو broadcast، فالـ usable = total - 2.

C#Subnet.cs — what a /24 really means (bit math)
using System.Net;

static uint ToUInt(IPAddress ip)
{
    var b = ip.GetAddressBytes();                       // 4 bytes, big-endian
    return ((uint)b[0] << 24) | ((uint)b[1] << 16) | ((uint)b[2] << 8) | b[3];
}

static IPAddress FromUInt(uint v) =>
    new IPAddress(new[] { (byte)(v >> 24), (byte)(v >> 16), (byte)(v >> 8), (byte)v });

static void Describe(string ip, int prefix)
{
    uint addr = ToUInt(IPAddress.Parse(ip));
    uint mask = prefix == 0 ? 0 : uint.MaxValue << (32 - prefix);   // e.g. /24 -> 0xFFFFFF00
    uint network = addr & mask;                                      // keep only the network bits
    uint broadcast = network | ~mask;                                // set all host bits to 1
    long total = 1L << (32 - prefix);

    Console.WriteLine($"{ip}/{prefix}");
    Console.WriteLine($"  mask      = {FromUInt(mask)}");
    Console.WriteLine($"  network   = {FromUInt(network)}");
    Console.WriteLine($"  broadcast = {FromUInt(broadcast)}");
    Console.WriteLine($"  addresses = {total} (usable {Math.Max(0, total - 2)})");
}

Describe("192.168.1.130", 26);
// 192.168.1.130/26
//   mask      = 255.255.255.192
//   network   = 192.168.1.128
//   broadcast = 192.168.1.191
//   addresses = 64 (usable 62)

الشرح والتتبع

  1. الـ IP بيتحول لـ uint (4 bytes) عشان نقدر نعمل عليه عمليات bits.
  2. الـ mask لـ /26 = 26 واحد متبوعين بـ 6 أصفار ⇒ 11111111.11111111.11111111.11000000 ⇒ 255.255.255.192.
  3. addr & mask: أخر byte = 130 = 10000010. AND مع 11000000 ⇒ 10000000 = 128 ⇒ network = 192.168.1.128.
  4. network | ~mask: بنحط كل الـ host bits = 1 ⇒ 10111111 = 191 ⇒ broadcast.
  5. الـ subnet ده فيه 64 عنوان من 128 لـ 191. الجهاز .130 بيقدر يكلم أي جهاز من .129 لـ .190 مباشرة (نفس الشبكة)، وأي حاجة برا الـ range دي بتروح للـ default gateway (الـ router).
  6. من ‎.NET 8 فيه System.Net.IPNetwork بيعمل Contains(IPAddress) جاهز لو محتاج تفحص هل IP تبع شبكة (مفيد في allow-lists).

Public vs Private IPs و NAT

عناوين IPv4 قليلة (حوالي 4.3 مليار)، فالـ ISP بيدي الراوتر بتاعك عنوان public واحد، وأجهزة البيت كلها بتاخد private IPs مش routable على الإنترنت. الـ NAT (Network Address Translation) في الراوتر بيترجم: لما جهازك 192.168.1.10:51000 يكلم موقع، الراوتر بيبدّل المصدر بعنوانه العام ورقم port جديد، ويفتكر الـ mapping عشان يرجّع الرد.

192.168.1.10 : 51000 192.168.1.11 : 51000 192.168.1.12 : 40222 Router (NAT)public 203.0.113.5mapping table Internet server :443 203.0.113.5:61001 private (192.168/16, 10/8, 172.16/12) ← مش routable على الإنترنت
NAT: عدة أجهزة private بتشارك عنوان public واحد. الراوتر بيحتفظ بجدول mapping
RangeType
10.0.0.0/8 · 172.16.0.0/12 · 192.168.0.0/16Private (RFC 1918)
127.0.0.0/8 (localhost)Loopback
169.254.0.0/16Link-local (DHCP فشل)
100.64.0.0/10Carrier-grade NAT
في الـ backend والـ cloud

الـ VPC في AWS/Azure هو private network بـ CIDR بتختاره (مثلاً 10.0.0.0/16) بتقسمه لـ subnets (public/private). الـ database بتبقى في private subnet. وغلط شائع: CIDR متداخل بين شبكتين عايز تربطهم (peering/VPN) ⇒ مش هيشتغل. ولما تقرأ الـ client IP في الـ API لازم تفكر في الـ proxy/NAT اللي في النص (قسم Reverse Proxy).

03

Ports و Sockets

Ports and sockets
Practical

الـ IP بيوصّلك للجهاز، والـ port (رقم من 0 لـ 65535) بيوصّلك للبرنامج الصح على الجهاز. الـ Socket هو نقطة الاتصال: (IP, port, protocol). الاتصال TCP بيتعرّف بـ 4-tuple: (client IP, client port, server IP, server port). ده معناه إن آلاف العملاء يقدروا يتصلوا بنفس server:443 لأن كل واحد له client IP/port مختلف.

Rangeالاسمأمثلة
0–1023Well-known80 HTTP · 443 HTTPS · 22 SSH · 53 DNS · 25 SMTP
1024–49151Registered5432 PostgreSQL · 1433 SQL Server · 6379 Redis · 5000/5001 ASP.NET dev
49152–65535 (Linux default 32768–60999)Ephemeralالـ client بياخد port عشوائي منها لكل اتصال خارج
C#TcpEcho.cs — a raw TCP server and client using sockets
using System.Net;
using System.Net.Sockets;
using System.Text;

// ---- SERVER ----
var listener = new TcpListener(IPAddress.Loopback, 5000);   // bind 127.0.0.1:5000
listener.Start();
Console.WriteLine("Listening on 127.0.0.1:5000");

_ = Task.Run(async () =>
{
    while (true)
    {
        var client = await listener.AcceptTcpClientAsync();   // completes after the 3-way handshake
        _ = HandleAsync(client);                              // don't await: serve many clients concurrently
    }
});

static async Task HandleAsync(TcpClient client)
{
    using (client)
    {
        var remote = (IPEndPoint)client.Client.RemoteEndPoint!;
        Console.WriteLine($"Client connected from {remote}");        // e.g. 127.0.0.1:53124 (ephemeral port)
        await using var stream = client.GetStream();
        var buffer = new byte[1024];
        int read;
        while ((read = await stream.ReadAsync(buffer)) > 0)          // 0 means the peer closed
            await stream.WriteAsync(buffer.AsMemory(0, read));       // echo back
    }
}

// ---- CLIENT ----
using var tcp = new TcpClient();
await tcp.ConnectAsync("127.0.0.1", 5000);
await using var ns = tcp.GetStream();
await ns.WriteAsync(Encoding.UTF8.GetBytes("hello"));
var resp = new byte[1024];
int n = await ns.ReadAsync(resp);
Console.WriteLine(Encoding.UTF8.GetString(resp, 0, n));              // hello

الشرح وتتبع التنفيذ

listener.Start(): الـ OS بيعمل socket، يربطه بـ 127.0.0.1:5000 (bind) ويحطه في حالة LISTEN.
الـ client بيعمل ConnectAsync: الـ OS بيختار ephemeral port ويبعت SYN ⇒ الـ handshake بيتم (قسم TCP).
AcceptTcpClientAsync بترجع TcpClient جديد على socket منفصل للاتصال ده. الـ listener نفسه فاضل يسمع للباقي.
HandleAsync بتقرأ bytes وتكتبها تاني. ReadAsync بترجع 0 لما الطرف التاني يقفل الاتصال.
الـ using بيقفل الـ socket، فبيبدأ الـ termination handshake.

لاحظ إن TCP هو byte stream مش رسائل: ممكن تبعت "hello" و "world" وتستقبل "helloworld" في read واحد أو "hel" و "loworld". الـ HTTP فوقه بيحدد حدود الرسائل بـ Content-Length أو chunked encoding. دي أشهر مشكلة في الـ protocols اللي بتكتبها بإيدك (framing).

أخطاء شائعة

Address already in use: البورت محجوز من process تانية أو في TIME_WAIT. Connection refused: مفيش حد بيسمع على البورت ده (الخدمة واقفة أو غلط في البورت). والـ listener على 127.0.0.1 مش هيبقى reachable من برا الجهاز؛ استخدم 0.0.0.0 (أو IPAddress.Any) للاستماع على كل الـ interfaces، وده بالظبط سبب مشكلة «شغال على جهازي ومش شغال من Docker».

04

DNS

Domain Name System
Deep dive

الـ DNS هو «دليل تليفونات الإنترنت»: بيحوّل الاسم api.shop.com لعنوان IP. من غيره كنت هتحتاج تحفظ IPs. وهو من أكتر أسباب الأعطال الغريبة في الـ production.

Your appstub resolver Recursive resolverISP / 8.8.8.8 / 1.1.1.1 Root (.) TLD (.com) shop.com NS 1) who has .com ?2) who has shop.com ?3) api.shop.com = 203.0.113.9 cache (TTL)
Recursive DNS resolution: الـ resolver بيسأل Root ثم TLD ثم الـ Authoritative server، ويعمل cache حسب الـ TTL
Recordبيعمل إيهمثال
A / AAAAاسم ⇒ IPv4 / IPv6api.shop.com → 203.0.113.9
CNAMEاسم مستعار لاسم تانيwww → shop.azurewebsites.net
MXسيرفر الإيميلmail.shop.com
TXTنصوص (SPF، التحقق من الملكية)"v=spf1 …"
NSالـ nameservers المسؤولة عن الدومينns1.provider.com
C#DnsDemo.cs — resolution in .NET and the long-lived HttpClient trap
using System.Net;
using System.Net.Http;

// 1) Direct resolution
IPAddress[] ips = await Dns.GetHostAddressesAsync("example.com");
foreach (var ip in ips) Console.WriteLine(ip);       // may return both IPv4 and IPv6

// 2) The trap: a static/singleton HttpClient resolves DNS ONCE per pooled connection.
//    If the server's IP changes (blue/green deploy, failover), old connections keep using the old IP.
var handler = new SocketsHttpHandler
{
    PooledConnectionLifetime = TimeSpan.FromMinutes(2)   // recycle connections -> DNS re-resolved
};
var client = new HttpClient(handler);
// (With IHttpClientFactory this recycling is built in.)
  1. Dns.GetHostAddressesAsync بتسأل الـ OS resolver (اللي بيسأل الـ DNS server المضبوط عندك ويحترم الـ cache).
  2. الـ HTTP connection اللي اتفتحت قبل كده بتفضل مفتوحة (keep-alive) ومبتعملش DNS تاني. لو الـ HttpClient عايش طول عمر التطبيق ومفيش PooledConnectionLifetime ممكن يفضل بيبعت لـ IP قديم بعد ما الـ DNS يتغير.
  3. PooledConnectionLifetime بيحدد أقصى عمر للاتصال في الـ pool، فبعدها بيتقفل ويتفتح جديد بـ DNS lookup جديد.
DNS caching و TTL

كل record ليها TTL (بالثواني) بيحدد كام cache مسموح يحتفظ بيها. TTL طويل = أسرع وأخف حمل لكن التغيير بياخد وقت ينتشر. قبل migration كبيرة (تغيير IP) بيقللوا الـ TTL مسبقاً. وكمان مشاكل «شغال عندي ومش عند زميلي» غالباً cache مختلف: جرّب nslookup api.shop.com أو dig api.shop.com وامسح الـ cache (ipconfig /flushdns على Windows).

05

TCP vs UDP، الـ Handshake والـ Termination

TCP vs UDP · three-way handshake · connection termination
Deep dive

TCP

  • Connection-oriented: لازم handshake قبل أي داتا.
  • Reliable: acknowledgements + إعادة إرسال الحزم المفقودة.
  • Ordered: البيانات بتوصل بنفس الترتيب.
  • Flow & congestion control.
  • مناسب: HTTP/1.1/2، databases، SSH، email، file transfer.

UDP

  • Connectionless: ابعت وخلاص، من غير handshake.
  • Unreliable: ممكن تضيع/تتكرر/تتخلبط.
  • أخف وأقل latency (header 8 bytes).
  • مناسب: DNS، video/voice calls، gaming، وهو أساس QUIC / HTTP/3 (اللي بيضيف الـ reliability فوقه).
ClientServer SYN seq=x SYN-ACK seq=y, ack=x+1 ACK ack=y+1 → ESTABLISHED … HTTP request / response data … FIN (client done sending) ACK FIN (server done) ACK → client waits in TIME_WAIT
TCP three-way handshake ثم termination: كل اتجاه بيتقفل لوحده (FIN / ACK)

تفاصيل الـ handshake

  1. SYN: الـ client بيقول «عايز أفتح اتصال، رقم البداية عندي x».
  2. SYN-ACK: السيرفر بيوافق ويبعت رقم البداية بتاعه y ويأكد استلام x.
  3. ACK: الـ client بيأكد y. دلوقتي الاتصال ESTABLISHED والاتنين مستعدين.

التكلفة: 1 RTT (round trip) قبل ما أول byte داتا يتبعت (وبعدها TLS بيضيف). عشان كده الاتصالات القصيرة المتكررة غالية، وعشان كده فيه connection reuse/pooling.

الـ Termination و TIME_WAIT

الطرف اللي بيقفل أولاً بيبعت FIN، والتاني بيرد ACK وبعدها بيبعت FIN من جهته. الطرف اللي بدأ الإقفال بيدخل حالة TIME_WAIT لفترة (غالباً 60 ثانية على Linux) عشان يضمن إن آخر ACK وصل وإن أي حزم متأخرة تموت. لو بتفتح وتقفل آلاف اتصالات في الثانية (من غير reuse)، الـ ephemeral ports بتخلص في TIME_WAIT ⇒ Cannot assign requested address / socket exhaustion.

C#UdpDemo.cs — fire and forget datagrams
using System.Net;
using System.Net.Sockets;
using System.Text;

using var server = new UdpClient(9000);                       // bind UDP port 9000
_ = Task.Run(async () =>
{
    var result = await server.ReceiveAsync();                 // one datagram = one message (boundaries preserved)
    Console.WriteLine($"Got '{Encoding.UTF8.GetString(result.Buffer)}' from {result.RemoteEndPoint}");
});

using var client = new UdpClient();
await client.SendAsync(Encoding.UTF8.GetBytes("ping"), "127.0.0.1", 9000);   // no handshake, no delivery guarantee
  1. مفيش Connect/Accept: كل SendAsync هو datagram مستقل.
  2. عكس TCP، الـ UDP بيحافظ على حدود الرسالة (message-oriented) لكن مفيش ضمان توصيل ولا ترتيب. لو عايز reliability لازم تبنيها بنفسك (أو تستخدم QUIC).
سؤال تصميم

ليه HTTP/3 اتبنى فوق UDP؟ لأن TCP نفسه جزء من الـ kernel والـ middleboxes ومستحيل نعدله. QUIC بيعمل reliability و encryption و multiplexing في user space فوق UDP، فبيتطور أسرع من غير ما ننتظر كل الأنظمة تتحدّث.

06

HTTP/1.1 و HTTP/2 و HTTP/3 (و gRPC)

HTTP versions · multiplexing
Deep dive

HTTP هو بروتوكول request/response نصي (في 1.1) ومعنى الـ methods والـ status codes واحد في كل الإصدارات. اللي اتغير هو إزاي الرسائل بتتنقل على الشبكة.

HTTP/1.1HTTP/2HTTP/3
TransportTCPTCPQUIC فوق UDP
الشكلنص (text)Binary framesBinary frames
Concurrency على اتصال واحدrequest واحد في الوقت (pipelining عملياً مش مستخدم)Multiplexing لـ streams كتيرMultiplexing بدون TCP head-of-line blocking
Headersتتبعت كاملة كل مرةHPACK compressionQPACK compression
Head-of-line blockingعلى مستوى الـ requestاتحل في HTTP، لكن بيفضل على مستوى TCPاتحل (كل stream مستقل)
TLSاختياريعملياً مطلوب (ALPN)إجباري (مدمج في QUIC)
HandshakeTCP + TLS (2-3 RTT)TCP + TLS1 RTT (0-RTT ممكن للاتصال المتكرر)

HTTP/1.1

Persistent connections (Connection: keep-alive افتراضي) بتسمح بإعادة استخدام الاتصال لأكتر من request بالتتابع. ولو محتاج parallelism المتصفح بيفتح حوالي 6 اتصالات لكل host. مشكلة head-of-line blocking: لو response أول بطيء، اللي وراه بيستنى.

HTTP/2

بيقسم الرسائل لـ frames binary بتتخلط على اتصال واحد فيه streams كتير (Multiplexing). فمش محتاج 6 اتصالات، وبيضغط الـ headers بـ HPACK. لكنه لسه على TCP، فلو حزمة TCP ضاعت كل الـ streams بتتوقف لحد إعادة الإرسال.

gRPC على HTTP/2

الـ gRPC بيستخدم HTTP/2 كـ transport: بيستفيد من الـ multiplexing والـ bidirectional streaming ومن binary protobuf. ده بيفسر ليه gRPC محتاج HTTP/2 (وليه الـ browsers محتاجة gRPC-Web).

HTTP/3

مبني على QUIC (فوق UDP): كل stream له ترتيبه وإعادة إرساله الخاص، فضياع حزمة بيأثر على stream واحد بس. وفيه connection migration (الاتصال بيكمل لما تتنقل من Wi-Fi لـ 4G).

C#HttpVersions.cs — client and Kestrel configuration
// ---- CLIENT: ask for HTTP/2 (negotiated through TLS ALPN) ----
using var client = new HttpClient
{
    BaseAddress = new Uri("https://api.example.com"),
    DefaultRequestVersion = HttpVersion.Version20,
    DefaultVersionPolicy = HttpVersionPolicy.RequestVersionOrLower   // fall back to 1.1 if the server can't do 2
};
var response = await client.GetAsync("/products");
Console.WriteLine(response.Version);        // 2.0 if negotiated, otherwise 1.1

// ---- SERVER: Kestrel, enable all three protocols ----
var builder = WebApplication.CreateBuilder(args);
builder.WebHost.ConfigureKestrel(options =>
{
    options.ConfigureEndpointDefaults(listen =>
        listen.Protocols = HttpProtocols.Http1AndHttp2AndHttp3);      // HTTP/3 needs HTTPS
});
var app = builder.Build();
app.MapGet("/", (HttpContext ctx) => $"Protocol: {ctx.Request.Protocol}");   // HTTP/1.1, HTTP/2 or HTTP/3
app.Run();
  1. الـ HttpClient بيستخدم HTTP/1.1 افتراضياً. ضبطنا DefaultRequestVersion و RequestVersionOrLower عشان لو السيرفر مدعمش HTTP/2 مفيش فشل.
  2. HTTP/2 على HTTPS بيتفاوض بـ ALPN (إضافة في الـ TLS handshake بيقول فيها العميل «أنا بفهم h2 و http/1.1»).
  3. على Kestrel: Http1AndHttp2AndHttp3 بيخلي السيرفر يعلن عن HTTP/3 عن طريق header Alt-Svc فالمتصفح يجرب QUIC في الاتصالات الجاية. محتاج TLS وبيحتاج دعم MsQuic على نظام التشغيل (Linux محتاج تثبيت libmsquic)؛ راجع متطلبات النسخة اللي بتستخدمها.
  4. ctx.Request.Protocol بيفيدك تتحقق من البروتوكول الفعلي (مفيد لما في proxy قدام Kestrel بيتكلم HTTP/1.1 معاه حتى لو العميل HTTP/2).
07

HTTPS و TLS والـ Certificates

HTTPS, TLS and certificates
Deep dive

HTTPS = HTTP جوه TLS. TLS بيدّيك التلات حاجات: Confidentiality (تشفير، محدش يقرا)، Integrity (محدش يعدل في النص)، وAuthentication (إنت فعلاً بتكلم السيرفر الحقيقي مش منتحل).

Client (browser / HttpClient)Server ClientHello: versions, cipher suites, key share, SNI, ALPN ServerHello + key share + Certificate + Finished client verifies certificate chain + hostname, derives session keys Finished → encrypted application data starts GET /orders (encrypted) 200 OK (encrypted)
TLS 1.3 handshake مبسط: round trip واحد بعده البيانات متشفرة. الـ certificate بيثبت هوية السيرفر

الفكرة

  1. الـ key exchange (ECDHE) بيخلي الطرفين يتفقوا على مفتاح سري مشترك من غير ما يتبعت على الشبكة. بيدّي forward secrecy: لو الـ private key اتسرق بعدين مش هيفك الاتصالات القديمة.
  2. الـ Certificate بيربط اسم الدومين بـ public key، وموقّع من Certificate Authority (CA) موثوق عند الـ OS/المتصفح.
  3. الـ client بيتحقق من: السلسلة (chain) توصل لـ root موثوق، الـ hostname مطابق لـ SAN في الشهادة، الـ expiry، وعدم الإلغاء.
  4. بعد كده كل الداتا بتتشفر بمفتاح متماثل (AES-GCM / ChaCha20) لأنه أسرع بكتير.
الـ Certificate chainالدور
Root CAموثوق مسبقاً في الـ trust store (مخزن الـ OS)
Intermediate CAموقّعة من الـ root، وهي اللي بتوقّع شهادات المواقع
Leaf (server) certشهادة api.shop.com، لازم السيرفر يبعتها مع الـ intermediate
BashInspect a certificate and enable HTTPS in development
# See what a server presents: subject, SAN, issuer, expiry
openssl s_client -connect api.shop.com:443 -servername api.shop.com </dev/null 2>/dev/null \
  | openssl x509 -noout -subject -issuer -dates -ext subjectAltName

# curl with verbose TLS info
curl -vI https://api.shop.com

# ASP.NET Core local dev certificate (trusted on your machine only)
dotnet dev-certs https --trust
C#TlsErrors.cs — the wrong fix vs the right fix
// ❌ NEVER in production: disables all certificate validation (man-in-the-middle becomes trivial)
var bad = new HttpClientHandler
{
    ServerCertificateCustomValidationCallback = HttpClientHandler.DangerousAcceptAnyServerCertificateValidator
};

// ✅ Right fix #1: install/trust the CA (internal CA) on the machine or container image.
// ✅ Right fix #2 (rare): pin to a specific known certificate chain, with an explicit callback:
var pinned = new HttpClientHandler
{
    ServerCertificateCustomValidationCallback = (msg, cert, chain, errors) =>
        errors == System.Net.Security.SslPolicyErrors.None
        || (cert is not null && cert.Thumbprint == "A1B2C3...EXPECTED_THUMBPRINT")   // explicit & narrow
};

// ASP.NET Core: redirect HTTP to HTTPS and tell browsers to stick to HTTPS
var app = WebApplication.CreateBuilder(args).Build();
app.UseHttpsRedirection();
app.UseHsts();                   // adds Strict-Transport-Security (not in Development)
  1. DangerousAcceptAnyServerCertificateValidator بيشيل الـ authentication بالكامل ⇒ ممكن أي حد في النص ينتحل السيرفر. مقبول فقط في test محلي مؤقت.
  2. الحلول الصح: ثبّت الـ CA الداخلي في الـ trust store، أو حدّث الشهادة المنتهية. لو لازم تـ pin، اعمل callback ضيّق ومحدد (مع خطة لتحديث الـ thumbprint قبل انتهاء الشهادة).
  3. UseHttpsRedirection بترجّع 307/308 من HTTP لـ HTTPS. UseHsts بتبعت Strict-Transport-Security فالمتصفح يرفض HTTP للدومين لمدة معينة.
أخطاء الـ certificates الشائعة
  • RemoteCertificateNameMismatch: بتكلم الـ IP أو hostname مش موجود في الـ SAN.
  • UntrustedRoot: شهادة self-signed أو الـ intermediate ناقصة من السيرفر، أو الـ container image معندوش CA certificates.
  • Certificate expired: أشهر outage! استخدم تجديد تلقائي (Let's Encrypt/ACME أو managed certs) و monitoring للـ expiry.
  • الوقت على الجهاز غلط ⇒ الشهادة تبان «لسه ماسرتش» أو «منتهية».
08

دورة حياة الـ Request كاملة

The full request lifecycle
Practical

لما تكتب https://api.shop.com/orders في المتصفح (أو تنادي HttpClient) بيحصل ده بالترتيب. كل خطوة ممكن تفشل بشكل مختلف.

1 · DNSname → IP 2 · TCP1 RTT 3 · TLS1 RTT (1.3) 4 · HTTPrequest sent 5 · Proxy / LBroute + TLS end 6 · Kestrelmiddleware → endpoint Response goes back the same way: endpoint → middleware → Kestrel → proxy (adds headers) → TLS encrypt → TCP → client Total ≈ DNS + 1 RTT (TCP) + 1 RTT (TLS 1.3) + 1 RTT (request) + server time + transfer Fresh connection ≈ 3 RTT before the first response byte — a reused connection ≈ 1 RTT
الرحلة الكاملة للـ request: من الـ client لحد الـ controller وبالعكس، مع تكلفة كل مرحلة بالـ RTT
DNS: المتصفح يدور في الـ cache، ثم الـ OS، ثم الـ resolver ⇒ IP. (فشل: ERR_NAME_NOT_RESOLVED).
TCP connect: SYN/SYN-ACK/ACK للـ IP على port 443. (فشل: Connection refused أو timeout لو الـ firewall بيعمل drop).
TLS: handshake والتحقق من الشهادة. (فشل: أخطاء الـ certificate، أو إصدارات TLS غير متوافقة).
HTTP request: GET /orders مع headers (Host, Authorization, Cookie…). في HTTP/2 بتتبعت frames.
Proxy / Load balancer: بيستقبل الاتصال، ممكن ينهي TLS (termination)، ويختار backend ويفتح/يعيد استخدام اتصال تاني ليه. (فشل: 502/503/504).
Kestrel: بيحلل الـ request ويعدّيه على الـ middleware pipeline ثم الـ routing ثم الـ endpoint (شوف دروس ASP.NET Core و Middleware).
Response: الـ status + headers + body بنفس الطريق عكسياً. والـ connection بتفضل مفتوحة (keep-alive) للـ requests الجاية.
09

Cookies و Sessions على مستوى الشبكة

Cookies and sessions
Basics

HTTP stateless: كل request مستقل ومالوش ذاكرة. عشان السيرفر «يفتكرك»، بنستخدم cookie: السيرفر بيبعت Set-Cookie والمتصفح بيرجّعها أوتوماتيك في كل request لنفس الدومين. الـ session هي ذاكرة على السيرفر مربوطة بـ id بيتخزن في الـ cookie.

HTTPHow a cookie travels
HTTP/1.1 200 OK
Set-Cookie: sid=9f2c...; Path=/; HttpOnly; Secure; SameSite=Lax; Max-Age=3600

GET /orders HTTP/1.1
Host: api.shop.com
Cookie: sid=9f2c...
C#Cookies.cs — set and read a cookie in a minimal API
app.MapGet("/login-demo", (HttpContext ctx) =>
{
    ctx.Response.Cookies.Append("sid", Guid.NewGuid().ToString("N"), new CookieOptions
    {
        HttpOnly = true,                 // JavaScript cannot read it (mitigates XSS token theft)
        Secure = true,                   // only sent over HTTPS
        SameSite = SameSiteMode.Lax,     // limits cross-site sending (CSRF mitigation)
        MaxAge = TimeSpan.FromHours(1)
    });
    return Results.Ok("cookie set");
});

app.MapGet("/whoami", (HttpContext ctx) =>
    ctx.Request.Cookies.TryGetValue("sid", out var sid) ? Results.Ok(sid) : Results.Unauthorized());
  1. HttpOnly يمنع document.cookie من قراءتها. Secure بتمنع إرسالها على HTTP. SameSite بتحدد إمتى المتصفح يبعتها في طلبات من موقع تاني.
  2. على الشبكة الـ cookie مجرد header نصي، فلو HTTP عادي أي حد على الشبكة يقدر يسرقها ⇒ لازم HTTPS.
  3. الـ session المخزنة على السيرفر بتخلق مشكلة مع تعدد الـ instances: لازم sticky sessions أو store مشترك (Redis). وده سبب ميل الـ APIs لـ JWT (stateless) ⇒ شوف درس Authentication & Authorization للتفاصيل الكاملة والمفاضلة.
10

Reverse Proxies و Load Balancers و Forward Proxy و VPN

Reverse proxy, load balancing, proxy vs reverse proxy vs VPN
Deep dive
Clients Reverse proxy / LBTLS terminationrouting · health checksnginx · YARP · ALB API instance 1 API instance 2 API instance 3 (unhealthy)
Reverse proxy / Load balancer قدام عدة instances من الـ API. العميل بيشوف عنوان واحد بس
بيقف جنب مين؟بيخبّي مين؟الاستخدام
Forward proxyالـ clientهوية الـ client عن السيرفرشبكات الشركات، filtering، caching
Reverse proxyالسيرفرالـ backend عن الـ clientTLS termination، compression، caching، routing، حماية
Load balancerالسيرفرتعدد الـ instancesتوزيع الحمل + health checks + high availability
VPNالشبكة كلهابيعمل «نفق» مشفر ويخليك كأنك جوه الشبكة الخاصةوصول آمن لـ private network (مش بيشتغل على مستوى HTTP)

خوارزميات توزيع الحمل

  • Round Robin: واحد واحد بالترتيب. بسيط ويناسب instances متساوية.
  • Least Connections: اللي عنده أقل اتصالات نشطة، أفضل مع requests متفاوتة في الطول.
  • IP Hash / Sticky sessions: نفس العميل لنفس الـ instance. بتحل مشاكل الـ session لكنها بتقلل التوزيع وبتعقّد الـ scale-in.
  • Weighted: instances أقوى تاخد نسبة أكبر.

الـ Health checks هي اللي بتخلي الـ LB يشيل instance واقعة من الدوران (في ASP.NET Core: app.MapHealthChecks("/health")).

nginxnginx.conf — reverse proxy with load balancing
upstream shop_api {
    least_conn;
    server 10.0.1.11:8080;
    server 10.0.1.12:8080;
    server 10.0.1.13:8080 backup;      # used only if the others are down
    keepalive 32;                      # reuse connections to the backends
}

server {
    listen 443 ssl http2;
    server_name api.shop.com;
    ssl_certificate     /etc/ssl/api.shop.com.crt;
    ssl_certificate_key /etc/ssl/api.shop.com.key;

    location / {
        proxy_pass http://shop_api;
        proxy_http_version 1.1;
        proxy_set_header Connection "";                       # needed for upstream keepalive
        proxy_set_header Host              $host;
        proxy_set_header X-Real-IP         $remote_addr;
        proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_read_timeout 30s;
    }
}
  1. upstream بيعرّف مجموعة الـ backends و least_conn هي خوارزمية التوزيع. backup بتشتغل بس في حالة فشل الباقي.
  2. الـ proxy بينهي TLS (listen 443 ssl) ويكلم الـ API بـ HTTP عادي داخل الشبكة الخاصة، فالـ API نفسه محتاج يعرف الـ scheme الأصلي (https) والـ IP الأصلي.
  3. الـ headers X-Forwarded-For و X-Forwarded-Proto بتنقل المعلومات دي للـ backend. proxy_read_timeout بيحدد أقصى انتظار لرد الـ backend (لو عدّى ⇒ 504 Gateway Timeout).

ASP.NET Core خلف Proxy: Forwarded Headers

C#ForwardedHeaders.cs
using Microsoft.AspNetCore.HttpOverrides;

var builder = WebApplication.CreateBuilder(args);

builder.Services.Configure<ForwardedHeadersOptions>(options =>
{
    options.ForwardedHeaders = ForwardedHeaders.XForwardedFor | ForwardedHeaders.XForwardedProto;
    // By default only loopback proxies are trusted. In containers/cloud you MUST add your proxy network:
    options.KnownIPNetworks.Add(new System.Net.IPNetwork(System.Net.IPAddress.Parse("10.0.0.0"), 8));
});

var app = builder.Build();
app.UseForwardedHeaders();           // must run BEFORE auth, redirection, etc.
app.UseHttpsRedirection();

app.MapGet("/ip", (HttpContext ctx) => new
{
    remote = ctx.Connection.RemoteIpAddress?.ToString(),     // real client IP after processing X-Forwarded-For
    scheme = ctx.Request.Scheme                              // "https" even though proxy→app is HTTP
});
app.Run();
  1. من غير الـ middleware ده، RemoteIpAddress هيبقى عنوان الـ proxy و Request.Scheme هيبقى http ⇒ UseHttpsRedirection ممكن يعمل redirect loop، و rate limiting بالـ IP يتحسب على الـ proxy كله!
  2. الـ middleware بيهمل الـ headers من أي مصدر مش موثوق (عشان محدش يزوّر X-Forwarded-For). عشان كده لازم تضيف شبكة الـ proxy في KnownIPNetworks (أو KnownProxies). في ‎.NET 10 الـ property اسمها KnownIPNetworks وبتاخد System.Net.IPNetwork، أما KnownNetworks (النسخ الأقدم) فبقت obsolete وبتدي warning ASPDEPR005.
  3. لازم يتحط بدري في الـ pipeline، قبل أي middleware بيعتمد على scheme أو IP.
أخطاء شائعة

502 Bad Gateway: الـ proxy مش قادر يتصل بالـ backend (الـ app واقع/بورت غلط). 503: مفيش backend صحي متاح. 504: الـ backend بطيء أكتر من timeout الـ proxy. 413: الـ body أكبر من حد الـ proxy (client_max_body_size).

11

WebSockets

WebSockets
Practical

HTTP عادي: العميل بيسأل والسيرفر بيرد. لو السيرفر عايز «يدفع» بيانات من نفسه (chat، إشعارات، أسعار لحظية) من غير polling، بنستخدم WebSocket: اتصال full-duplex دائم على نفس الـ TCP connection. بيبدأ كـ HTTP request عادي فيه Upgrade: websocket وبعد الرد 101 Switching Protocols الـ connection بتتحول لبروتوكول WebSocket frames.

HTTPThe upgrade handshake
GET /ws HTTP/1.1
Host: api.shop.com
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==
Sec-WebSocket-Version: 13

HTTP/1.1 101 Switching Protocols
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+xOo=
C#WebSocketEcho.cs — ASP.NET Core echo endpoint
using System.Net.WebSockets;
using System.Text;

var builder = WebApplication.CreateBuilder(args);
var app = builder.Build();

app.UseWebSockets(new WebSocketOptions { KeepAliveInterval = TimeSpan.FromSeconds(30) });

app.Map("/ws", async (HttpContext ctx) =>
{
    if (!ctx.WebSockets.IsWebSocketRequest)
    {
        ctx.Response.StatusCode = StatusCodes.Status400BadRequest;
        return;
    }

    using var socket = await ctx.WebSockets.AcceptWebSocketAsync();   // sends 101 Switching Protocols
    var buffer = new byte[4096];

    while (socket.State == WebSocketState.Open)
    {
        var result = await socket.ReceiveAsync(new ArraySegment<byte>(buffer), ctx.RequestAborted);

        if (result.MessageType == WebSocketMessageType.Close)
        {
            await socket.CloseAsync(WebSocketCloseStatus.NormalClosure, "bye", CancellationToken.None);
            break;
        }

        var text = Encoding.UTF8.GetString(buffer, 0, result.Count);
        var reply = Encoding.UTF8.GetBytes($"echo: {text}");
        await socket.SendAsync(reply, WebSocketMessageType.Text, endOfMessage: true, ctx.RequestAborted);
    }
});

app.Run();

الشرح

  1. UseWebSockets بتفعّل الـ middleware. KeepAliveInterval بيبعت ping دوري عشان الـ proxies/load balancers مايقفلوش الاتصال الخامل.
  2. AcceptWebSocketAsync بترد بـ 101 وبترجع WebSocket للقراءة والكتابة. الـ request اللي بيتعامل معاه الـ endpoint بيفضل عايش طول عمر الاتصال (فالـ thread مش محجوز لأننا async).
  3. الـ loop بتقرا رسائل لحد ما العميل يبعت Close. ReceiveAsync ممكن يرجع جزء من رسالة كبيرة (EndOfMessage)، في الإنتاج لازم تجمع الأجزاء.
  4. تحذير: كل اتصال بيحجز ذاكرة و socket. 100 ألف مستخدم = 100 ألف اتصال مفتوح؛ ده بيحتاج تخطيط scale (LB بيدعم WebSockets، sticky أو backplane). في الـ ‎.NET عادةً بنستخدم SignalR فوقه (بيدير الـ reconnect و groups والـ fallbacks).
الطريقةإمتى؟
Pollingتحديثات نادرة، أبسط حاجة
Server-Sent Eventspush في اتجاه واحد (server → client) فقط، فوق HTTP عادي
WebSocket / SignalRتفاعل ثنائي الاتجاه ولحظي (chat, collaboration)
12

Timeouts و Retries و Latency و Throughput و Connection Pooling

Timeouts, retries, latency, throughput, pooling
Deep dive

Latency

الوقت اللي request واحد بياخده من الإرسال للرد. بتتأثر بالمسافة (سرعة الضوء: ~1ms لكل 100km تقريباً في الألياف)، عدد الـ round trips، وزمن معالجة السيرفر. بنقيسها بـ percentiles (p50, p95, p99) مش بالمتوسط.

Throughput

كام request/ثانية (أو MB/ثانية) النظام بيستحمله. ممكن يبقى عندك throughput عالي مع latency عالية (pipeline عريض) والعكس.

العلاقة

Little's Law: concurrency = throughput × latency. لو بتعالج 100 req/s وكل request بياخد 200ms ⇒ متوسط 20 request متزامنين. لو الـ latency زادت لـ 2s فجأة هتتراكم 200 request ⇒ ممكن تنهار الـ thread pool/connection pool.

Timeouts

أي نداء شبكي لازم يكون له timeout، وإلا خدمة بطيئة واحدة بتجمّد كل اللي بينادي عليها (cascading failure). أنواعها: connect timeout، read/response timeout، و total request timeout. الـ HttpClient.Timeout الافتراضي 100 ثانية وده غالباً أكبر بكتير من اللي تحتاجه.

Retries

الـ retry بيحل الأعطال المؤقتة (transient: packet loss، 503 لحظي) لكنه خطير لو اتعمل غلط:

  • أعد المحاولة بس على الأخطاء المؤقتة (timeouts، 502/503/504، 429 مع Retry-After) مش على 400/401/404.
  • بس على العمليات Idempotent (GET, PUT, DELETE). لو POST بيعمل دفع، الـ retry ممكن يخصم مرتين ⇒ استخدم idempotency key.
  • Exponential backoff + jitter: 200ms ثم 400ms ثم 800ms مع عشوائية عشان العملاء مايضربوش السيرفر في نفس اللحظة (thundering herd).
  • حد أقصى للمحاولات، وCircuit Breaker يقطع المحاولات لو الخدمة واقعة فعلاً.

Connection Pooling

فتح اتصال جديد = DNS + TCP + TLS (حوالي 2-3 RTT). الـ pool بيحتفظ باتصالات مفتوحة ويعيد استخدامها. في ‎.NET الـ SocketsHttpHandler بيدير pool لكل host. المشكلة الكلاسيكية: عمل new HttpClient() لكل request بيفتح اتصالات جديدة ويسيبها في TIME_WAIT ⇒ socket exhaustion.

C#HttpClientBest.cs — IHttpClientFactory + timeouts + resilience
// dotnet add package Microsoft.Extensions.Http.Resilience
var builder = WebApplication.CreateBuilder(args);

builder.Services
    .AddHttpClient("payments", c =>
    {
        c.BaseAddress = new Uri("https://payments.internal");
        c.Timeout = TimeSpan.FromSeconds(10);          // outer safety net
    })
    .AddStandardResilienceHandler();                    // rate limiter, total timeout, retry (backoff+jitter),
                                                        // circuit breaker, per-attempt timeout

var app = builder.Build();

app.MapGet("/pay-status/{id}", async (string id, IHttpClientFactory factory, CancellationToken ct) =>
{
    var client = factory.CreateClient("payments");      // cheap: handler/pool is shared and rotated
    using var response = await client.GetAsync($"/status/{id}", ct);   // ct: stop when the caller disconnects
    response.EnsureSuccessStatusCode();
    return Results.Content(await response.Content.ReadAsStringAsync(ct), "application/json");
});
app.Run();

// ❌ the classic mistake
static async Task<string> Bad(string url)
{
    using var client = new HttpClient();               // new connection pool EVERY call -> socket exhaustion
    return await client.GetStringAsync(url);
}
  1. AddHttpClient بيسجل IHttpClientFactory اللي بيدير handlers وبيدوّرهم بشكل دوري (افتراضياً حوالي دقيقتين) فمشكلة الـ DNS اتحلت وفي نفس الوقت الاتصالات بتتعاد استخدامها.
  2. AddStandardResilienceHandler (من حزمة Microsoft.Extensions.Http.Resilience) بيركّب pipeline جاهز مبني على Polly: rate limiter، total timeout، retry مع backoff و jitter، circuit breaker، و timeout لكل محاولة. ممكن تعدّل قيمه بـ options.
  3. تمرير CancellationToken مهم: لو العميل قفل الاتصال بنوقف النداء الخارجي بدل ما نضيّع موارد.
  4. النسخة Bad: كل نداء بيعمل handler جديد ⇒ اتصالات جديدة (TCP + TLS) وتراكم TIME_WAIT. البديل البسيط: HttpClient واحد static مع PooledConnectionLifetime.
خطر Retry Storm

لو 1000 instance بتعمل retry كل واحدة 3 مرات على خدمة بطيئة، الحمل بيتضاعف 3 مرات على خدمة أصلاً بتعاني ⇒ بتقع. الحل: backoff + jitter، circuit breaker، retry budget، و limit على الـ concurrency. ومحدش يعمل retry في كل طبقة من طبقات النداءات (بتتضاعف: 3×3×3).

13

Firewall Basics

Firewall basics
Basics

الـ Firewall بيفلتر الـ traffic حسب قواعد (IP المصدر/الوجهة، port، protocol). الأفكار الأساسية:

  • Default deny: اقفل كل حاجة وافتح بس اللي محتاجه.
  • Stateful: لو سمحت بـ connection خارج، الرد الراجع بيتسمح تلقائياً (مش محتاج قاعدة inbound للرد).
  • Inbound vs Outbound: الداخل للسيرفر مقابل الخارج منه. الـ outbound مهم لمنع data exfiltration.
  • Layers: host firewall (ufw, iptables, Windows Firewall)، network firewall، وفي السحابة Security Groups / NSGs.
  • مبدأ الأقل صلاحية: الـ database تقبل اتصالات بس من الـ app subnet على port 5432، مش من الإنترنت.
RuleSourcePortMeaning
ALLOW0.0.0.0/0443Public HTTPS (load balancer)
ALLOW10.0.1.0/24 (app subnet)5432Only the app can reach PostgreSQL
ALLOWoffice-ip/3222SSH from the office only
DENYanyanyEverything else (implicit)
عرَض مهم للـ debugging

الـ firewall اللي بيعمل DROP (يتجاهل الحزمة) بيبان كـ timeout، أما البورت المقفول فعلاً بدون firewall بيدي فوراً connection refused (RST). الفرق ده بيحدد: timeout = غالباً firewall/route، refused = مفيش service شغالة على البورت.

14

Troubleshooting و أدوات التشخيص

Troubleshooting · curl -v, DevTools, Wireshark basics
Practical

منهجية ثابتة: ابدأ من تحت لفوق (DNS ⇒ network ⇒ TCP ⇒ TLS ⇒ HTTP ⇒ application) وعدّي على كل طبقة بأداة محددة.

BashA bottom-up troubleshooting session
# 1) DNS: does the name resolve? to what?
nslookup api.shop.com
dig +short api.shop.com

# 2) Network reachability / path
ping -c 3 203.0.113.9
traceroute api.shop.com            # (tracert on Windows)

# 3) TCP: is the port open? (-z scan only, -v verbose)
nc -zv api.shop.com 443
ss -tlnp | grep 8080               # on the server: who is LISTENING on 8080?

# 4) TLS + HTTP together: curl verbose shows every step
curl -v https://api.shop.com/health
#   * Trying 203.0.113.9:443...        <- DNS result, TCP connect
#   * TLSv1.3 (OUT), TLS handshake...  <- TLS
#   * Server certificate: subject, issuer, expire date
#   > GET /health HTTP/2               <- request headers
#   < HTTP/2 200                       <- response status + headers

# 5) Timing breakdown: where is the time going?
curl -o /dev/null -s -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n" https://api.shop.com/health
  1. nslookup/dig بيفصلوا مشاكل الـ DNS. nc -zv بيجرب فتح TCP بس (من غير HTTP) فيقولك الـ port مفتوح ولا لأ.
  2. ss -tlnp على السيرفر بيوريك البورتات الـ LISTEN ومين الـ process. لو التطبيق بيسمع على 127.0.0.1 مش 0.0.0.0 هتشوفها هنا.
  3. curl -v بيعرض كل المراحل (الـ DNS result، TLS handshake، الـ headers) فهو أداة أول خطوة.
  4. الـ -w format بيعطي breakdown للزمن: time_namelookup (DNS)، time_connect (TCP)، time_appconnect (TLS)، time_starttransfer (أول byte = TTFB). لو الـ TTFB كبير والباقي صغير فالمشكلة في الـ application مش الشبكة.

الأدوات التانية

Browser DevTools — Network tab

بيوريك لكل request: Waterfall (DNS/Connect/SSL/Waiting(TTFB)/Download)، البروتوكول (h2/h3)، الـ headers والـ cookies، وأخطاء CORS. استخدم "Disable cache" و "Throttling" لمحاكاة شبكة بطيئة.

Wireshark (basics)

بيلتقط الحزم الخام. بتستخدم display filters زي tcp.port == 443 و dns و http. مفيد تشوف TCP retransmissions والـ RST ومشاكل الـ handshake. ملحوظة: الداتا المشفرة (TLS) مش هتقراها من غير مفاتيح الجلسة. للـ HTTP debugging اليومي curl -v والـ DevTools أسرع.

جدول الأعراض والأسباب

العَرَضالسبب المحتملأول خطوة
Name or service not knownDNS غلط/مش مسجل/خدمة DNS واقعةnslookup / تحقق من Docker network DNS
Connection refusedمفيش حد بيسمع على البورت، أو بيسمع على 127.0.0.1 فقطss -tlnp
Timeout (طويل)Firewall بيعمل drop، route مفقود، أو السيرفر معلّقsecurity groups، traceroute، curl -v --max-time
SSL / certificate errorمنتهية، hostname غلط، root/intermediate ناقصopenssl s_client و curl -v
502 Bad Gatewayالـ proxy مش قادر يكلم الـ backendlog الـ proxy، هل الـ app شغال؟ البورت صح؟
504 Gateway Timeoutالـ backend بطيء أكتر من timeout الـ proxyزمن الـ endpoint، DB queries، timeouts
Cannot assign requested addressephemeral port exhaustion (TIME_WAIT كتير)HttpClient reuse، ss -s
CORS error في المتصفح فقطمش network؛ سياسة المتصفح والـ headersDevTools: preflight OPTIONS و Access-Control-*
15

Knowledge Check

Takeaways · conceptual questions · code reading · interview questions
Basics

أهم النقاط

  • الطبقات بتحددلك المشكلة فين: DNS ⇒ TCP ⇒ TLS ⇒ HTTP ⇒ application.
  • الاتصال الجديد غالي (DNS + TCP + TLS ≈ 2-3 RTT). عشان كده: connection reuse و IHttpClientFactory و HTTP/2.
  • HTTP/2 بيحل head-of-line على مستوى HTTP؛ HTTP/3 (QUIC/UDP) بيحله على مستوى النقل كمان.
  • TLS: تشفير + سلامة + هوية. متعطلش validation في الـ production أبداً.
  • خلف proxy: استخدم UseForwardedHeaders مع الشبكات الموثوقة، وإلا الـ IP والـ scheme هيطلعوا غلط.
  • كل نداء شبكي له timeout؛ الـ retry للأعطال المؤقتة والعمليات idempotent بـ backoff + jitter.
  • Timeout عادةً = firewall/route، و refused = مفيش service على البورت.

أسئلة مفاهيمية

إيه الفرق بين 502 و 503 و 504؟

502: الـ gateway خد رد غير صالح أو معرفش يتصل بالـ backend. 503: الخدمة غير متاحة مؤقتاً (محمّلة أو مفيش backend صحي). 504: الـ gateway استنى الـ backend أكتر من الـ timeout.

ليه الـ TIME_WAIT موجودة؟ وإمتى تبقى مشكلة؟

عشان تضمن وصول آخر ACK وتمنع حزم متأخرة من اتصال قديم تتلخبط مع اتصال جديد بنفس الـ 4-tuple. بتبقى مشكلة لما بتفتح وتقفل اتصالات كتير جداً (بدون reuse) فالـ ephemeral ports بتخلص.

الـ CORS error هل هو مشكلة شبكة؟

لأ. الطلب غالباً بيوصل للسيرفر والسيرفر بيرد؛ المتصفح هو اللي بيمنع الـ JavaScript من قراءة الرد لو الـ headers (Access-Control-Allow-Origin) مش مسموحة. ممكن curl يشتغل تمام والمتصفح يرفض.

ليه HttpClient singleton + DNS ممكن يعمل مشكلة؟ وإزاي تحلها؟

لأن الاتصالات الـ pooled بتفضل مفتوحة ومبتعملش DNS lookup جديد، فبعد تغيير الـ IP بتفضل تكلم القديم. الحل: IHttpClientFactory أو SocketsHttpHandler.PooledConnectionLifetime.

ليه الـ firewall اللي بيعمل DROP بيبان كـ timeout مش refused؟

لأن الحزمة بتتجاهل من غير أي رد، فالعميل بيستنى ويعيد المحاولة لحد الـ timeout. البورت المقفول بدون firewall بيرد بـ RST فبيبان refused فوراً.

قراءة كود

C#What will go wrong in production?
app.MapGet("/rates", async () =>
{
    using var http = new HttpClient();
    for (var attempt = 0; attempt < 5; attempt++)
    {
        try { return await http.GetStringAsync("https://rates.internal/usd"); }
        catch { /* try again immediately */ }
    }
    throw new Exception("failed");
});
اذكر 4 مشاكل على الأقل

(1) new HttpClient() لكل request ⇒ socket exhaustion و fresh TLS. (2) timeout الافتراضي 100s طويل. (3) retry فوري من غير backoff ولا jitter ⇒ retry storm. (4) catch بتبلع كل الأخطاء (حتى 404 و cancellation). (5) مفيش CancellationToken. (6) رسالة الـ exception مفيهاش سبب. الحل: IHttpClientFactory + AddStandardResilienceHandler + تمرير CancellationToken.

أسئلة إنترفيو شائعة

اشرح اللي بيحصل من لحظة كتابة URL في المتصفح لحد ظهور الصفحة

DNS lookup ⇒ TCP handshake ⇒ TLS handshake (ALPN بيختار h2/h3) ⇒ إرسال HTTP request ⇒ ممكن يعدي على CDN/Load balancer/reverse proxy ⇒ الـ server يعالج (middleware، endpoint، DB) ⇒ response يرجع ⇒ المتصفح يحلل الـ HTML ويطلب الموارد (CSS/JS/images) على نفس الاتصال بـ HTTP/2 multiplexing ⇒ render. اذكر مكان الـ caching في كل مرحلة.

ازاي تصمم نداء بين microservices بشكل مرن؟

timeouts صريحة، retry للأعطال المؤقتة مع backoff و jitter وعمليات idempotent، circuit breaker، connection pooling عن طريق IHttpClientFactory، health checks، و monitoring للـ latency percentiles. ولو مهم الـ throughput فكر في gRPC/HTTP/2.

الفرق بين Reverse Proxy و Load Balancer و API Gateway؟

الـ reverse proxy أعم: بيستقبل الـ traffic نيابةً عن السيرفرات. الـ load balancer وظيفته الأساسية توزيع الحمل والـ health checks (غالباً L4 أو L7). الـ API gateway هو reverse proxy L7 بيزود وظائف API: authentication، rate limiting، routing حسب الـ path، تحويل الطلبات، aggregation.

↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

خريطة التغطية: 26 عنصر من الـ Roadmap ومكان شرحه في الدرس
RoadmapOSI Model§01
RoadmapTCP/IP§01
RoadmapIP and Subnet Basics§02
RoadmapPorts and Sockets§03
RoadmapDNS§04
RoadmapTCP vs UDP§05
RoadmapTCP Handshake and Connection Termination§05
RoadmapHTTP/1.1 Concepts§06
RoadmapHTTP/2 Concepts§06
RoadmapHTTP/3 Concepts§06
RoadmapHTTPS§07
RoadmapTLS and Certificates§07
RoadmapRequest Lifecycle§08
RoadmapCookies and Sessions§09
RoadmapReverse Proxies§10
RoadmapLoad Balancers§10
RoadmapWebSockets§11
RoadmapTimeouts and Retries§12
RoadmapLatency and Throughput§12
RoadmapConnection Pooling§12
RoadmapFirewall Basics§13
RoadmapTroubleshooting§14
SuggestedDebugging with curl -v, DevTools Network tab, Wireshark basics§14
SuggestedNAT and private vs public IPs§02
SuggestedProxy vs reverse proxy vs VPN§10
SuggestedHTTP/2 multiplexing and gRPC§06

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس