Software Engineer Encyclopedia
0%
Domain 10 · Python, Machine Learning & Data Engineering · Pillar

الصوت وSpeech AI: Preprocessing وVAD وقياس WER

Speech and Audio AI Lab — Preprocessing, VAD and WER

أساسيات معالجة الصوت (sampling، framing، energy-based VAD) وقياس جودة التعرف على الكلام بـ WER، مع أمثلة executed. Whisper وPyTorch مذكورين كـ Requires Environment.

  • Intermediate
  • ~13 min read
  • 19 sections
  • 6 code examples
  • 1 diagrams
  • 10 questions
  • Priority L2 · Essential
  • أمثلة NumPy/stdlib فقط · Whisper/نماذج ASR: Requires Environment / Version Verification Required

المتطلبات قبل ما تبدأ

أساسيات البرمجة والـ complexity. مش محتاج خبرة Python سابقة.

01

هنطلع من الدرس بإيه؟

Measurable outcomes
Basics

هتفهم الصوت كـ signal رقمي، وتبني pipeline تحضير بسيط، وتقيس جودة ASR بمقياس صحيح بدل الانطباع.

  • تفهم sample rate و frames و energy.
  • تكتب VAD بسيط وتعرف حدوده.
  • تحسب WER بـ edit distance وتفسر نتيجته.
  • تصمم تكامل ASR في خدمة مع اعتبارات الخصوصية والتكلفة.

المتطلبات: Python وMath for ML. تنبيه صدق: مفيش نموذج ASR حقيقي اتشغل هنا (Whisper يحتاج torch وتحميل أوزان): الأجزاء دي Requires Environment.

02

مثال شغال 1: إشارة + Energy VAD

Energy-based voice activity detection
Practical

نولّد إشارة اصطناعية (صمت + نغمة + صمت + نغمة) بدل ملف حقيقي، ونكشف مقاطع «الكلام» بحساب energy لكل frame. العينة الاصطناعية مش كلام فعلي؛ الهدف توضيح الفكرة.

Pythonvad.pyExecuted ✓
import numpy as np
sr = 16000                                   # 16 kHz is the usual ASR sample rate
t = lambda sec: np.arange(int(sr * sec)) / sr
rng = np.random.default_rng(0)
noise = lambda sec: 0.01 * rng.normal(size=int(sr * sec))
tone = lambda sec: 0.5 * np.sin(2 * np.pi * 220 * t(sec))
sig = np.concatenate([noise(0.5), tone(0.4) + noise(0.4), noise(0.3), tone(0.2) + noise(0.2), noise(0.4)])

frame, hop = int(0.025 * sr), int(0.010 * sr)     # 25 ms frames, 10 ms hop
n = 1 + (len(sig) - frame) // hop
energy = np.array([np.mean(sig[i*hop:i*hop+frame] ** 2) for i in range(n)])
active = energy > 10 * np.median(energy)          # adaptive threshold relative to noise floor

segments, start = [], None
for i, a in enumerate(active):
    if a and start is None: start = i
    if not a and start is not None: segments.append((start, i)); start = None
if start is not None: segments.append((start, n))
print("duration: %.2fs, frames: %d" % (len(sig) / sr, n))
for s, e in segments:
    print("speech segment: %.2fs -> %.2fs" % (s * hop / sr, e * hop / sr + frame / sr - hop / sr))
print("expected approx: 0.50-0.90 and 1.20-1.40")
ConsoleOutput — captured from a real run
duration: 1.80s, frames: 178
speech segment: 0.48s -> 0.92s
speech segment: 1.18s -> 1.41s
expected approx: 0.50-0.90 and 1.20-1.40

حدود energy-VAD: بيفشل مع ضوضاء عالية أو موسيقى (أي صوت عالٍ يتحسب «كلام»)، فالإنتاج يستخدم نماذج VAD مدربة، لكن الفكرة (frames + threshold تتكيف مع noise floor) هي الأساس.

03

مثال شغال 2: WER بـ edit distance

Word Error Rate
Practical

WER = (S + D + I) / N (استبدال + حذف + إضافة ÷ عدد كلمات المرجع). بنحسبه بـ Levenshtein على مستوى الكلمات:

Pythonwer.pyExecuted ✓
def wer(ref, hyp):
    r, h = ref.split(), hyp.split()
    d = [[0] * (len(h) + 1) for _ in range(len(r) + 1)]
    for i in range(len(r) + 1): d[i][0] = i
    for j in range(len(h) + 1): d[0][j] = j
    for i in range(1, len(r) + 1):
        for j in range(1, len(h) + 1):
            cost = 0 if r[i-1] == h[j-1] else 1
            d[i][j] = min(d[i-1][j] + 1, d[i][j-1] + 1, d[i-1][j-1] + cost)
    return d[-1][-1] / len(r)

cases = [
    ("the cat sat on the mat", "the cat sat on the mat"),
    ("the cat sat on the mat", "the cat sat on a mat"),        # 1 substitution
    ("the cat sat on the mat", "the cat on the mat"),          # 1 deletion
    ("the cat sat on the mat", "the big cat sat on the mat"),  # 1 insertion
    ("hello", "completely different words here"),              # WER can exceed 100%
]
for r, h in cases: print(f"WER={wer(r, h):.2f}  ref={r!r}  hyp={h!r}")
ConsoleOutput — captured from a real run
WER=0.00  ref='the cat sat on the mat'  hyp='the cat sat on the mat'
WER=0.17  ref='the cat sat on the mat'  hyp='the cat sat on a mat'
WER=0.17  ref='the cat sat on the mat'  hyp='the cat on the mat'
WER=0.17  ref='the cat sat on the mat'  hyp='the big cat sat on the mat'
WER=4.00  ref='hello'  hyp='completely different words here'

ملاحظات: WER ممكن يعدّي 100%. لازم normalization متسقة (حروف صغيرة، علامات ترقيم، أرقام) قبل الحساب، وإلا هتقارن حاجات مختلفة. وللعربي: لهجات وتشكيل وكتابة بالإنجليزي في نص عربي بتأثر على النتيجة، فاستخدم test set من اللهجة والمجال المستهدف.

04

تكامل ASR في خدمة

Production considerations
Deep dive
  • Requires Environment: تشغيل Whisper أو نموذج مشابه يحتاج torch/ffmpeg وأوزان؛ اختر الحجم حسب الدقة/الكمون/التكلفة وقِس على بياناتك.
  • Pipeline: upload → تحقق من النوع والحجم → تحويل لـ 16 kHz mono → (VAD/تقطيع) → ASR → post-processing → تخزين. اشتغل async مع job queue للملفات الطويلة.
  • الخصوصية: الصوت بيانات حساسة (ممكن يعرّف الشخص): موافقة صريحة، تشفير، مدة احتفاظ محددة، وما تسجلش الصوت/النص في logs بدون redaction (درس أمان الـ AI).
  • التقييم: WER على test set ممثل + قياس latency وتكلفة لكل دقيقة صوت، ومراجعة أخطاء الأسماء والمصطلحات التقنية.
05

أخطاء شائعة

Common mistakes
Pitfalls
  • اختلاف sample rate عن اللي النموذج متوقعه.
  • حساب WER من غير normalization.
  • تقييم على بيانات نظيفة وتشغيل على ضوضاء الواقع.
  • تحميل ملف صوت كبير كله في الذاكرة داخل request متزامن.
  • تخزين الصوت بدون سياسة احتفاظ.
06

خمس تمارين محلولة

Practice with worked solutions
Practical
1 (Easy): كام sample في ثانية صوت بـ 16 kHz mono 16-bit؟ وحجمها؟

الحل: 16000 sample، وكل sample بايتين، فحوالي 32,000 بايت للثانية (≈ 1.9 MB في الدقيقة) من غير ضغط.

2 (Easy): احسب WER: ref=«a b c d» و hyp=«a x c»

الحل: b→x استبدال (1) وحذف d (1) = 2 أخطاء ÷ 4 كلمات = 0.5.

3 (Intermediate): ليه الـ threshold في VAD نسبي للـ median مش رقم ثابت؟

الحل: مستوى الضوضاء بيختلف حسب الميكروفون والبيئة. threshold ثابت هيتعتبر الضوضاء العالية كلام أو الكلام الهادي صمت. نسبي لـ noise floor بيتكيف (مع حدوده لو الكلام مستمر وخلّى الـ median عالي).

4 (Intermediate): ضيف hangover (يمدد المقطع 100ms بعد ما الطاقة تنزل) ليه؟

الحل: عشان ما يتقطعش آخر الكلمات والوقفات القصيرة بين الكلمات. نمدد نهاية كل segment ~10 frames ونضم المقاطع المتقاربة (أقل من 200ms مثلاً).

5 (Challenging): صمم تقييم ASR لعيادة بتسجل مكالمات بالعربي المصري مع مصطلحات طبية

الحل: جمع عينة ممثلة بموافقة وإخفاء هوية، transcripts مرجعية بتحقق مزدوج، normalization متفق عليه، WER عام + WER على المصطلحات الطبية منفصل (لأنها الأهم)، تحليل أخطاء حسب المتحدث/الضوضاء، حد قبول مكتوب قبل الإطلاق، ومراجعة بشرية للحالات الحرجة (جرعات، أسماء أدوية) بدل الاعتماد على ASR وحده.

07

Mini Project: أداة تقييم ASR

Mini project
Practical

اكتب CLI بياخد مجلدين (refs و hyps) ويطبع WER لكل ملف ومتوسط مرجّح بعدد الكلمات، مع normalization قابل للضبط وتقرير بأسوأ 5 ملفات. معيار النجاح: اختبارات unit على الحالات اللي في الدرس (خصوصًا WER فوق 1 ومرجع فاضي).

08

أسئلة إنترفيو

Interview questions
Basics
ليه 16 kHz شائع في ASR؟
يغطي ترددات الكلام الأساسية (حتى ~8 kHz بقاعدة Nyquist) بتكلفة بيانات أقل من 44.1 kHz.
إيه عيوب WER؟
بيعامل كل الأخطاء بنفس الوزن (خطأ في اسم دواء = حرف جر)، حساس للـ normalization، ومش بيقيس المعنى. يُكمَّل بمقاييس على المصطلحات الحرجة ومراجعة بشرية.
إيه فايدة VAD في pipeline؟
تقليل الحوسبة بتجاهل الصمت، تقطيع الملفات الطويلة، وتحسين الدقة بتقليل الهلوسة على الصمت/الضوضاء.
إزاي تتعامل مع ملف صوت ساعتين؟
job غير متزامن، تقطيع بـ VAD مع overlap بسيط، معالجة الأجزاء بالتوازي، دمج النتائج بالـ timestamps، وتتبع الحالة والتقدم.
(أصعب) ASR دقيق في الاختبار وسيء في الإنتاج. ليه؟
اختلاف التوزيع: ميكروفونات وضوضاء ولهجات مختلفة، تسرب في الاختبار، جودة ضغط/sample rate، أو مفردات مجال غير ممثلة. الحل: تقييم على عينات إنتاج مجهّلة الهوية ومراقبة WER تقريبيًا بمراجعة عينات دورية.
09

الصوت كبيانات: sample rate و bit depth و channels

Digital audio fundamentals
Deep dive

قبل أي موديل، لازم تفهم الملف اللي في إيدك. الصوت الرقمي = قياسات لضغط الهواء بمعدل ثابت. أغلب bugs الـ ASR في الإنتاج مش في الموديل، في التحويل: sample rate غلط، stereo بدل mono، أو ملف مضغوط بجودة سيئة.

المفهوممعناهليه يهمك
Sample rateعدد العينات في الثانية (8 kHz تليفون، 16 kHz شائع للـ ASR، 44.1/48 kHz موسيقى)موديلات كتير متدرّبة على 16 kHz؛ ملف 48 kHz لازم resample. أعلى تردد ممكن تمثيله = نص الـ sample rate (Nyquist)
Bit depthدقة كل عينة (16-bit PCM شائع)بيأثر على الـ dynamic range؛ الموديلات بتاخد float بين −1 و1 بعد normalization
Channelsmono/stereoمكالمة call center ممكن تكون stereo بقناة لكل متكلم — ميزة للـ diarization، و mixdown عشوائي بيضيّعها
CodecWAV (غير مضغوط)، MP3/AAC/Opus (مضغوط lossy)الضغط القوي بيشيل ترددات بتأثر على الدقة؛ خلي التحويل بـ ffmpeg في مكان واحد

حسبة الحجم: دقيقة mono 16 kHz × 16-bit = 16,000 × 2 bytes × 60 ≈ 1.9 MB. ساعة ≈ 115 MB. ده بيحدد حدود الـ upload، والـ storage، وإنك تعالج الملفات الطويلة async مش في الـ request.

10

من الموجة للـ features: Spectrogram و Mel و Log-Mel

What the model actually sees
Deep dive

الآلية: الموجة الخام (آلاف الأرقام في الثانية) صعبة على الموديل. بنقسمها لـ frames قصيرة (مثلًا 25 ms بخطوة 10 ms)، ونطبّق Fourier transform على كل frame عشان نعرف «كام من كل تردد» ← spectrogram. الأذن البشرية حساسة للفروق في الترددات المنخفضة أكتر من العالية، فبنجمّع الترددات على مقياس mel (مثلًا 80 bin)، وناخد log عشان نقرّب الإحساس بالـ loudness. النتيجة: log-mel spectrogram — صورة 2D (زمن × تردد) اللي أغلب موديلات الـ ASR الحديثة بتاخدها كـ input.

Waveform16 kHz monoFrames25 ms / 10 ms hopFFTpower spectrumMel filters80 bins + logEncoder → Decodertokens (text)Every step is deterministic preprocessing: it must be identical at training and serving time
ASR front-end: raw samples become a log-mel image the encoder reads
Pythonlogmel_numpy.py (illustrative, NumPy)
import numpy as np

def frames(x, sr=16000, win_ms=25, hop_ms=10):
    win, hop = int(sr * win_ms / 1000), int(sr * hop_ms / 1000)
    n = 1 + (len(x) - win) // hop
    idx = np.arange(win)[None, :] + hop * np.arange(n)[:, None]
    return x[idx] * np.hanning(win)                       # window reduces spectral leakage

def mel_filterbank(n_mels=80, n_fft=400, sr=16000):
    hz_to_mel = lambda f: 2595 * np.log10(1 + f / 700)
    mel_to_hz = lambda m: 700 * (10 ** (m / 2595) - 1)
    mels = np.linspace(hz_to_mel(0), hz_to_mel(sr / 2), n_mels + 2)
    bins = np.floor((n_fft + 1) * mel_to_hz(mels) / sr).astype(int)
    fb = np.zeros((n_mels, n_fft // 2 + 1))
    for m in range(1, n_mels + 1):                         # triangular filters
        l, c, r = bins[m - 1], bins[m], bins[m + 1]
        fb[m - 1, l:c] = (np.arange(l, c) - l) / max(c - l, 1)
        fb[m - 1, c:r] = (r - np.arange(c, r)) / max(r - c, 1)
    return fb

def log_mel(x, sr=16000):
    spec = np.abs(np.fft.rfft(frames(x, sr), n=400)) ** 2  # (frames, 201)
    return np.log(spec @ mel_filterbank().T + 1e-10)        # (frames, 80)

في الإنتاج ما بتكتبش ده بنفسك — بتستخدم الـ feature extractor الرسمي للموديل (مثلًا اللي مع Whisper أو مكتبات زي torchaudio/librosa). القيمة إنك تفهم ليه «resample لـ 16 kHz» و«mono» مش تفاصيل اختيارية.

11

معماريات ASR: CTC و Encoder-Decoder و Whisper

How speech becomes text
Deep dive
العائلةالفكرةنقاط القوةالضعف
CTCencoder بيتنبأ بحرف/blank لكل frame، والـ decoding بيدمج التكرارسريع، مناسب للـ streamingمن غير language model قوي بيغلط في الإملاء والسياق
Encoder-decoder (attention)encoder للصوت + decoder بيولّد tokens زي الـ LLMدقة عالية، بيتعلم punctuation وتنسيقdecoding متتابع؛ ممكن «يهلوس» نص على صمت أو موسيقى
Whisper-style (multitask)encoder-decoder متدرّب على بيانات ضخمة متعددة اللغات، بيعمل ترجمة وكشف لغة و timestampsقوي جدًا out-of-the-box، يدعم العربيأحجام كبيرة = latency وتكلفة GPU؛ مش streaming بطبيعته
Transducer (RNN-T)encoder + prediction network + joinerstreaming بدقة عالية — شائع في الأجهزة والـ assistantsتدريب أعقد
Hallucination في ASR

موديلات encoder-decoder ممكن تطلع جمل كاملة على مقاطع صامتة أو ضوضاء (زي «شكرًا للمشاهدة»). الحماية: VAD قبل الـ ASR (اللي بنيناه في المعمل الأول)، رفض المقاطع ذات الـ energy المنخفضة، ومراقبة نسبة النص لمدة الكلام.

12

Serving: batch vs streaming، وتشغيل Whisper محليًا

Running ASR in a product
Practical

Batch (ملفات): اجتماع مسجّل، رسالة صوتية، فيديو. الـ request بيعمل upload ← job في queue ← worker GPU/CPU ← النتيجة والـ timestamps في DB ← إشعار. Streaming (live): مكالمة أو dictation: chunks صغيرة عبر WebSocket، نتايج جزئية بتتعدّل، ونهائية بعد كل جملة. أصعب بكتير وأغلى في التشغيل.

Pythontranscribe_worker.py (faster-whisper; not executed here)
# pip install faster-whisper   (CTranslate2-based reimplementation of Whisper; check the current README)
from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8")   # pick size by measured WER/latency on YOUR audio

def transcribe(path: str, language: str | None = "ar"):
    segments, info = model.transcribe(path, language=language, vad_filter=True, beam_size=5)
    out = []
    for s in segments:                                             # generator: decoding happens while iterating
        out.append({"start": round(s.start, 2), "end": round(s.end, 2), "text": s.text.strip()})
    return {"language": info.language, "duration": info.duration, "segments": out}
C#TranscriptionEndpoints.cs (ASP.NET Core side)
app.MapPost("/api/transcriptions", async (IFormFile file, ITenantContext t, IBlobStore blobs, IJobQueue jobs, CancellationToken ct) =>
{
    if (file.Length > 200 * 1024 * 1024) return Results.Problem("File too large (max 200 MB)", statusCode: 413);
    var allowed = new[] { "audio/wav", "audio/mpeg", "audio/mp4", "audio/ogg", "audio/webm" };
    if (!allowed.Contains(file.ContentType)) return Results.Problem("Unsupported audio type", statusCode: 415);

    var id = Guid.NewGuid();
    await using var s = file.OpenReadStream();
    var blob = await blobs.PutAsync($"t/{t.TenantId:N}/audio/{id}", s, ct);        // tenant-scoped storage
    await jobs.EnqueueAsync(new TranscriptionJob(id, t.TenantId, blob, Language: "ar"), ct);
    return Results.Accepted($"/api/transcriptions/{id}", new { id, status = "queued" });
}).DisableAntiforgery().RequireAuthorization();

Trade-off الاستضافة: API مُدار (مثلًا Azure AI Speech أو موديلات speech-to-text من providers تانية) = سهل وبيدعم streaming، تكلفة لكل دقيقة، والبيانات بتخرج. self-hosted Whisper = تحكم وخصوصية، لكن GPU وتشغيل. نفس قرار Inference & Serving بالظبط — والقرار بالأرقام: WER على عيّنتك، latency، تكلفة الساعة.

13

Diarization: مين اتكلم إمتى

Speaker diarization
Deep dive

«مين قال الجملة دي؟» مهم في الاجتماعات والمكالمات. الـ diarization بيقسّم الصوت لمقاطع وينسب كل مقطع لـ speaker (Speaker 1، Speaker 2…) عن طريق embeddings للصوت و clustering — مش بيعرف أسماء. بعدين بتدمج نتيجته مع timestamps الـ ASR. مكتبات مفتوحة زي pyannote.audio موجودة، وخدمات managed كمان. متى يفشل؟ كلام متداخل، أصوات متشابهة، مقاطع قصيرة جدًا. ولو التسجيل stereo بقناة لكل طرف (مكالمات)، استخدم القنوات بدل الـ diarization — أدق وأرخص.

14

العربي في الـ ASR: التحديات الحقيقية

Arabic-specific issues
Deep dive
  • اللهجات: فرق كبير بين الفصحى والمصري والخليجي والمغاربي. موديل جيد في الأخبار ممكن يبقى ضعيف في مكالمة خدمة عملاء بالعامية. قِس على لهجة مستخدمينك.
  • Code-switching: «ابعتلي الـ invoice على الـ email» — كلمات إنجليزي جوه جملة عربي. بعض الموديلات بتكتبها بحروف عربي («انفويس») وده بيبوّظ البحث والـ WER.
  • Normalization قبل الـ WER: التشكيل، أشكال الألف (أ/إ/آ/ا)، التاء المربوطة والهاء، الياء والألف المقصورة، الأرقام (٣ vs 3). من غير normalization متفق عليه، الـ WER بيقيس اختلافات إملائية مش أخطاء فهم.
  • Diacritics: الـ ASR عادة بيطلع من غير تشكيل؛ ما تعاقبش الموديل عليه في التقييم.
Pythonarabic_normalize.py
import re, unicodedata

def normalize_ar(text: str) -> str:
    text = "".join(c for c in unicodedata.normalize("NFD", text) if unicodedata.category(c) != "Mn")  # drop tashkeel
    text = re.sub("[إأآا]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))       # Arabic-Indic digits -> ASCII
    text = re.sub(r"[^\w\s]", " ", text)                                    # punctuation
    return re.sub(r"\s+", " ", text).strip().lower()
# Apply the SAME normalisation to reference and hypothesis before computing WER, and document it in the report.
15

التقييم أبعد من WER

Evaluating speech features end to end
Practical
المقياسبيقيسملاحظة
WER(substitutions + deletions + insertions) / عدد كلمات المرجعممكن يزيد عن 100% (insertions كتير)
CERنفس الفكرة على الحروفأنسب للغات بكلمات مركبة ولأخطاء الإملاء البسيطة
Entity accuracyهل الأسماء والأرقام والمبالغ اتكتبت صح؟غالبًا أهم من WER العام في البيزنس (رقم طلب غلط = تذكرة غلط)
RTF (real-time factor)وقت المعالجة ÷ مدة الصوتRTF 0.1 = ساعة صوت في 6 دقايق
Downstream taskهل التلخيص/التصنيف بعد الـ ASR صح؟الـ ASR جزء من pipeline؛ قيس النتيجة النهائية

نفس منهج Evaluation Engineering: test set ممثل (لهجات، ضوضاء، مدد مختلفة) بشرائح، وتقرير لكل شريحة، و gate قبل تغيير الموديل.

16

TTS والـ voice agents باختصار

Speech synthesis and voice pipelines
Basics

الاتجاه العكسي (نص ← صوت) بقى جودته عالية جدًا، وده بيفتح «voice agents»: ASR ← LLM ← TTS في حلقة. التحدي الأساسي latency: كل مرحلة بتضيف وقت، والمستخدم بيحس بأي صمت أكتر من ثانية تقريبًا. الحلول: streaming في كل مرحلة، بدء الـ TTS على أول جملة من الـ LLM، وموديلات speech-to-speech أحدث بتلغي بعض المراحل. تحذير أخلاقي وقانوني: استنساخ الأصوات (voice cloning) محتاج موافقة صريحة، وفيه قوانين بتلزم بالإفصاح إن المتكلم AI (شوف التزامات الشفافية في Governance).

17

Knowledge check

Check your understanding
Basics

ملف 48 kHz stereo اتبعت لموديل متدرّب على 16 kHz mono من غير تحويل. المتوقع؟

ليه WER ممكن يطلع أكبر من 100%؟

18

تمارين إضافية محلولة

More solved exercises
Practical
6: احسب حجم التخزين لـ 10,000 دقيقة مكالمات شهريًا WAV 16 kHz mono 16-bit

الحل: 1.92 MB/دقيقة × 10,000 ≈ 19.2 GB شهريًا. مع Opus مضغوط ممكن تقل كتير، لكن قِس أثر الضغط على الـ WER قبل القرار، وحدد retention (هل محتاج الصوت بعد ما النص اتعمل؟).

7: WER على تسجيلات العملاء 32% وعلى test set الأخبار 9%. خطتك؟

الحل: الفرق domain shift (لهجة، ضوضاء، ميكروفونات، code-switching). اعمل test set من تسجيلات حقيقية (بموافقة) مقسّم بشرائح، قارن موديلات/أحجام، جرّب initial prompt بمصطلحات المجال، و VAD أفضل. لو لسه سيء: fine-tune على بيانات مصنّفة من نفس المجال — بنفس بروتوكول قبل/بعد في درس Fine-tuning.

19

أسئلة إنترفيو: Junior → Senior

Interview ladder
Basics
(Junior) إيه هو log-mel spectrogram وليه بنستخدمه؟
تمثيل زمن × تردد للصوت بعد تجميع الترددات على مقياس mel وأخذ log؛ أقرب لإدراك الأذن وأسهل على الموديل من الموجة الخام، وهو الـ input المعتاد لموديلات الـ ASR.
(Senior) صمّم خدمة تفريغ اجتماعات لـ SaaS متعدد المستأجرين.
Upload لـ storage scoped بالـ tenant، job queue عادل لكل tenant، worker يعمل normalization لـ 16 kHz mono ← VAD ← ASR (managed أو self-hosted حسب الأرقام) ← diarization ← دمج ← تخزين بالـ timestamps، تلخيص بالـ LLM، retention وحذف، مراقبة RTF وتكلفة الدقيقة، و eval بشرائح لهجات.
(Senior) العميل اشتكى إن الأرقام في التفريغ غلط دايمًا. تعمل إيه؟
قيس entity accuracy للأرقام تحديدًا، شوف normalization (أرقام عربية/لاتينية، «ألفين وخمسمية» vs 2500)، جرّب post-processing لتحويل الأرقام المكتوبة بالكلام، و prompt/vocabulary بالأنماط المتوقعة، وأضف الحالات للـ golden set.
↗

المراجع والقراءة الإضافية

References & further reading

الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)

مصادر تعليمية ومتقدمة — Third-party & advanced reading

خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.

محتويات الدرس