هنطلع من الدرس بإيه؟
هتفهم الصوت كـ signal رقمي، وتبني pipeline تحضير بسيط، وتقيس جودة ASR بمقياس صحيح بدل الانطباع.
- تفهم sample rate و frames و energy.
- تكتب VAD بسيط وتعرف حدوده.
- تحسب WER بـ edit distance وتفسر نتيجته.
- تصمم تكامل ASR في خدمة مع اعتبارات الخصوصية والتكلفة.
المتطلبات: Python وMath for ML. تنبيه صدق: مفيش نموذج ASR حقيقي اتشغل هنا (Whisper يحتاج torch وتحميل أوزان): الأجزاء دي Requires Environment.
مثال شغال 1: إشارة + Energy VAD
نولّد إشارة اصطناعية (صمت + نغمة + صمت + نغمة) بدل ملف حقيقي، ونكشف مقاطع «الكلام» بحساب energy لكل frame. العينة الاصطناعية مش كلام فعلي؛ الهدف توضيح الفكرة.
import numpy as np
sr = 16000 # 16 kHz is the usual ASR sample rate
t = lambda sec: np.arange(int(sr * sec)) / sr
rng = np.random.default_rng(0)
noise = lambda sec: 0.01 * rng.normal(size=int(sr * sec))
tone = lambda sec: 0.5 * np.sin(2 * np.pi * 220 * t(sec))
sig = np.concatenate([noise(0.5), tone(0.4) + noise(0.4), noise(0.3), tone(0.2) + noise(0.2), noise(0.4)])
frame, hop = int(0.025 * sr), int(0.010 * sr) # 25 ms frames, 10 ms hop
n = 1 + (len(sig) - frame) // hop
energy = np.array([np.mean(sig[i*hop:i*hop+frame] ** 2) for i in range(n)])
active = energy > 10 * np.median(energy) # adaptive threshold relative to noise floor
segments, start = [], None
for i, a in enumerate(active):
if a and start is None: start = i
if not a and start is not None: segments.append((start, i)); start = None
if start is not None: segments.append((start, n))
print("duration: %.2fs, frames: %d" % (len(sig) / sr, n))
for s, e in segments:
print("speech segment: %.2fs -> %.2fs" % (s * hop / sr, e * hop / sr + frame / sr - hop / sr))
print("expected approx: 0.50-0.90 and 1.20-1.40")duration: 1.80s, frames: 178
speech segment: 0.48s -> 0.92s
speech segment: 1.18s -> 1.41s
expected approx: 0.50-0.90 and 1.20-1.40حدود energy-VAD: بيفشل مع ضوضاء عالية أو موسيقى (أي صوت عالٍ يتحسب «كلام»)، فالإنتاج يستخدم نماذج VAD مدربة، لكن الفكرة (frames + threshold تتكيف مع noise floor) هي الأساس.
مثال شغال 2: WER بـ edit distance
WER = (S + D + I) / N (استبدال + حذف + إضافة ÷ عدد كلمات المرجع). بنحسبه بـ Levenshtein على مستوى الكلمات:
def wer(ref, hyp):
r, h = ref.split(), hyp.split()
d = [[0] * (len(h) + 1) for _ in range(len(r) + 1)]
for i in range(len(r) + 1): d[i][0] = i
for j in range(len(h) + 1): d[0][j] = j
for i in range(1, len(r) + 1):
for j in range(1, len(h) + 1):
cost = 0 if r[i-1] == h[j-1] else 1
d[i][j] = min(d[i-1][j] + 1, d[i][j-1] + 1, d[i-1][j-1] + cost)
return d[-1][-1] / len(r)
cases = [
("the cat sat on the mat", "the cat sat on the mat"),
("the cat sat on the mat", "the cat sat on a mat"), # 1 substitution
("the cat sat on the mat", "the cat on the mat"), # 1 deletion
("the cat sat on the mat", "the big cat sat on the mat"), # 1 insertion
("hello", "completely different words here"), # WER can exceed 100%
]
for r, h in cases: print(f"WER={wer(r, h):.2f} ref={r!r} hyp={h!r}")WER=0.00 ref='the cat sat on the mat' hyp='the cat sat on the mat'
WER=0.17 ref='the cat sat on the mat' hyp='the cat sat on a mat'
WER=0.17 ref='the cat sat on the mat' hyp='the cat on the mat'
WER=0.17 ref='the cat sat on the mat' hyp='the big cat sat on the mat'
WER=4.00 ref='hello' hyp='completely different words here'ملاحظات: WER ممكن يعدّي 100%. لازم normalization متسقة (حروف صغيرة، علامات ترقيم، أرقام) قبل الحساب، وإلا هتقارن حاجات مختلفة. وللعربي: لهجات وتشكيل وكتابة بالإنجليزي في نص عربي بتأثر على النتيجة، فاستخدم test set من اللهجة والمجال المستهدف.
تكامل ASR في خدمة
- Requires Environment: تشغيل Whisper أو نموذج مشابه يحتاج torch/ffmpeg وأوزان؛ اختر الحجم حسب الدقة/الكمون/التكلفة وقِس على بياناتك.
- Pipeline: upload → تحقق من النوع والحجم → تحويل لـ 16 kHz mono → (VAD/تقطيع) → ASR → post-processing → تخزين. اشتغل async مع job queue للملفات الطويلة.
- الخصوصية: الصوت بيانات حساسة (ممكن يعرّف الشخص): موافقة صريحة، تشفير، مدة احتفاظ محددة، وما تسجلش الصوت/النص في logs بدون redaction (درس أمان الـ AI).
- التقييم: WER على test set ممثل + قياس latency وتكلفة لكل دقيقة صوت، ومراجعة أخطاء الأسماء والمصطلحات التقنية.
أخطاء شائعة
- اختلاف sample rate عن اللي النموذج متوقعه.
- حساب WER من غير normalization.
- تقييم على بيانات نظيفة وتشغيل على ضوضاء الواقع.
- تحميل ملف صوت كبير كله في الذاكرة داخل request متزامن.
- تخزين الصوت بدون سياسة احتفاظ.
خمس تمارين محلولة
1 (Easy): كام sample في ثانية صوت بـ 16 kHz mono 16-bit؟ وحجمها؟
الحل: 16000 sample، وكل sample بايتين، فحوالي 32,000 بايت للثانية (≈ 1.9 MB في الدقيقة) من غير ضغط.
2 (Easy): احسب WER: ref=«a b c d» و hyp=«a x c»
الحل: b→x استبدال (1) وحذف d (1) = 2 أخطاء ÷ 4 كلمات = 0.5.
3 (Intermediate): ليه الـ threshold في VAD نسبي للـ median مش رقم ثابت؟
الحل: مستوى الضوضاء بيختلف حسب الميكروفون والبيئة. threshold ثابت هيتعتبر الضوضاء العالية كلام أو الكلام الهادي صمت. نسبي لـ noise floor بيتكيف (مع حدوده لو الكلام مستمر وخلّى الـ median عالي).
4 (Intermediate): ضيف hangover (يمدد المقطع 100ms بعد ما الطاقة تنزل) ليه؟
الحل: عشان ما يتقطعش آخر الكلمات والوقفات القصيرة بين الكلمات. نمدد نهاية كل segment ~10 frames ونضم المقاطع المتقاربة (أقل من 200ms مثلاً).
5 (Challenging): صمم تقييم ASR لعيادة بتسجل مكالمات بالعربي المصري مع مصطلحات طبية
الحل: جمع عينة ممثلة بموافقة وإخفاء هوية، transcripts مرجعية بتحقق مزدوج، normalization متفق عليه، WER عام + WER على المصطلحات الطبية منفصل (لأنها الأهم)، تحليل أخطاء حسب المتحدث/الضوضاء، حد قبول مكتوب قبل الإطلاق، ومراجعة بشرية للحالات الحرجة (جرعات، أسماء أدوية) بدل الاعتماد على ASR وحده.
Mini Project: أداة تقييم ASR
اكتب CLI بياخد مجلدين (refs و hyps) ويطبع WER لكل ملف ومتوسط مرجّح بعدد الكلمات، مع normalization قابل للضبط وتقرير بأسوأ 5 ملفات. معيار النجاح: اختبارات unit على الحالات اللي في الدرس (خصوصًا WER فوق 1 ومرجع فاضي).
أسئلة إنترفيو
ليه 16 kHz شائع في ASR؟
إيه عيوب WER؟
إيه فايدة VAD في pipeline؟
إزاي تتعامل مع ملف صوت ساعتين؟
(أصعب) ASR دقيق في الاختبار وسيء في الإنتاج. ليه؟
الصوت كبيانات: sample rate و bit depth و channels
قبل أي موديل، لازم تفهم الملف اللي في إيدك. الصوت الرقمي = قياسات لضغط الهواء بمعدل ثابت. أغلب bugs الـ ASR في الإنتاج مش في الموديل، في التحويل: sample rate غلط، stereo بدل mono، أو ملف مضغوط بجودة سيئة.
| المفهوم | معناه | ليه يهمك |
|---|---|---|
| Sample rate | عدد العينات في الثانية (8 kHz تليفون، 16 kHz شائع للـ ASR، 44.1/48 kHz موسيقى) | موديلات كتير متدرّبة على 16 kHz؛ ملف 48 kHz لازم resample. أعلى تردد ممكن تمثيله = نص الـ sample rate (Nyquist) |
| Bit depth | دقة كل عينة (16-bit PCM شائع) | بيأثر على الـ dynamic range؛ الموديلات بتاخد float بين −1 و1 بعد normalization |
| Channels | mono/stereo | مكالمة call center ممكن تكون stereo بقناة لكل متكلم — ميزة للـ diarization، و mixdown عشوائي بيضيّعها |
| Codec | WAV (غير مضغوط)، MP3/AAC/Opus (مضغوط lossy) | الضغط القوي بيشيل ترددات بتأثر على الدقة؛ خلي التحويل بـ ffmpeg في مكان واحد |
حسبة الحجم: دقيقة mono 16 kHz × 16-bit = 16,000 × 2 bytes × 60 ≈ 1.9 MB. ساعة ≈ 115 MB. ده بيحدد حدود الـ upload، والـ storage، وإنك تعالج الملفات الطويلة async مش في الـ request.
من الموجة للـ features: Spectrogram و Mel و Log-Mel
الآلية: الموجة الخام (آلاف الأرقام في الثانية) صعبة على الموديل. بنقسمها لـ frames قصيرة (مثلًا 25 ms بخطوة 10 ms)، ونطبّق Fourier transform على كل frame عشان نعرف «كام من كل تردد» ← spectrogram. الأذن البشرية حساسة للفروق في الترددات المنخفضة أكتر من العالية، فبنجمّع الترددات على مقياس mel (مثلًا 80 bin)، وناخد log عشان نقرّب الإحساس بالـ loudness. النتيجة: log-mel spectrogram — صورة 2D (زمن × تردد) اللي أغلب موديلات الـ ASR الحديثة بتاخدها كـ input.
import numpy as np
def frames(x, sr=16000, win_ms=25, hop_ms=10):
win, hop = int(sr * win_ms / 1000), int(sr * hop_ms / 1000)
n = 1 + (len(x) - win) // hop
idx = np.arange(win)[None, :] + hop * np.arange(n)[:, None]
return x[idx] * np.hanning(win) # window reduces spectral leakage
def mel_filterbank(n_mels=80, n_fft=400, sr=16000):
hz_to_mel = lambda f: 2595 * np.log10(1 + f / 700)
mel_to_hz = lambda m: 700 * (10 ** (m / 2595) - 1)
mels = np.linspace(hz_to_mel(0), hz_to_mel(sr / 2), n_mels + 2)
bins = np.floor((n_fft + 1) * mel_to_hz(mels) / sr).astype(int)
fb = np.zeros((n_mels, n_fft // 2 + 1))
for m in range(1, n_mels + 1): # triangular filters
l, c, r = bins[m - 1], bins[m], bins[m + 1]
fb[m - 1, l:c] = (np.arange(l, c) - l) / max(c - l, 1)
fb[m - 1, c:r] = (r - np.arange(c, r)) / max(r - c, 1)
return fb
def log_mel(x, sr=16000):
spec = np.abs(np.fft.rfft(frames(x, sr), n=400)) ** 2 # (frames, 201)
return np.log(spec @ mel_filterbank().T + 1e-10) # (frames, 80)في الإنتاج ما بتكتبش ده بنفسك — بتستخدم الـ feature extractor الرسمي للموديل (مثلًا اللي مع Whisper أو مكتبات زي torchaudio/librosa). القيمة إنك تفهم ليه «resample لـ 16 kHz» و«mono» مش تفاصيل اختيارية.
معماريات ASR: CTC و Encoder-Decoder و Whisper
| العائلة | الفكرة | نقاط القوة | الضعف |
|---|---|---|---|
| CTC | encoder بيتنبأ بحرف/blank لكل frame، والـ decoding بيدمج التكرار | سريع، مناسب للـ streaming | من غير language model قوي بيغلط في الإملاء والسياق |
| Encoder-decoder (attention) | encoder للصوت + decoder بيولّد tokens زي الـ LLM | دقة عالية، بيتعلم punctuation وتنسيق | decoding متتابع؛ ممكن «يهلوس» نص على صمت أو موسيقى |
| Whisper-style (multitask) | encoder-decoder متدرّب على بيانات ضخمة متعددة اللغات، بيعمل ترجمة وكشف لغة و timestamps | قوي جدًا out-of-the-box، يدعم العربي | أحجام كبيرة = latency وتكلفة GPU؛ مش streaming بطبيعته |
| Transducer (RNN-T) | encoder + prediction network + joiner | streaming بدقة عالية — شائع في الأجهزة والـ assistants | تدريب أعقد |
موديلات encoder-decoder ممكن تطلع جمل كاملة على مقاطع صامتة أو ضوضاء (زي «شكرًا للمشاهدة»). الحماية: VAD قبل الـ ASR (اللي بنيناه في المعمل الأول)، رفض المقاطع ذات الـ energy المنخفضة، ومراقبة نسبة النص لمدة الكلام.
Serving: batch vs streaming، وتشغيل Whisper محليًا
Batch (ملفات): اجتماع مسجّل، رسالة صوتية، فيديو. الـ request بيعمل upload ← job في queue ← worker GPU/CPU ← النتيجة والـ timestamps في DB ← إشعار. Streaming (live): مكالمة أو dictation: chunks صغيرة عبر WebSocket، نتايج جزئية بتتعدّل، ونهائية بعد كل جملة. أصعب بكتير وأغلى في التشغيل.
# pip install faster-whisper (CTranslate2-based reimplementation of Whisper; check the current README)
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8") # pick size by measured WER/latency on YOUR audio
def transcribe(path: str, language: str | None = "ar"):
segments, info = model.transcribe(path, language=language, vad_filter=True, beam_size=5)
out = []
for s in segments: # generator: decoding happens while iterating
out.append({"start": round(s.start, 2), "end": round(s.end, 2), "text": s.text.strip()})
return {"language": info.language, "duration": info.duration, "segments": out}app.MapPost("/api/transcriptions", async (IFormFile file, ITenantContext t, IBlobStore blobs, IJobQueue jobs, CancellationToken ct) =>
{
if (file.Length > 200 * 1024 * 1024) return Results.Problem("File too large (max 200 MB)", statusCode: 413);
var allowed = new[] { "audio/wav", "audio/mpeg", "audio/mp4", "audio/ogg", "audio/webm" };
if (!allowed.Contains(file.ContentType)) return Results.Problem("Unsupported audio type", statusCode: 415);
var id = Guid.NewGuid();
await using var s = file.OpenReadStream();
var blob = await blobs.PutAsync($"t/{t.TenantId:N}/audio/{id}", s, ct); // tenant-scoped storage
await jobs.EnqueueAsync(new TranscriptionJob(id, t.TenantId, blob, Language: "ar"), ct);
return Results.Accepted($"/api/transcriptions/{id}", new { id, status = "queued" });
}).DisableAntiforgery().RequireAuthorization();Trade-off الاستضافة: API مُدار (مثلًا Azure AI Speech أو موديلات speech-to-text من providers تانية) = سهل وبيدعم streaming، تكلفة لكل دقيقة، والبيانات بتخرج. self-hosted Whisper = تحكم وخصوصية، لكن GPU وتشغيل. نفس قرار Inference & Serving بالظبط — والقرار بالأرقام: WER على عيّنتك، latency، تكلفة الساعة.
Diarization: مين اتكلم إمتى
«مين قال الجملة دي؟» مهم في الاجتماعات والمكالمات. الـ diarization بيقسّم الصوت لمقاطع وينسب كل مقطع لـ speaker (Speaker 1، Speaker 2…) عن طريق embeddings للصوت و clustering — مش بيعرف أسماء. بعدين بتدمج نتيجته مع timestamps الـ ASR. مكتبات مفتوحة زي pyannote.audio موجودة، وخدمات managed كمان. متى يفشل؟ كلام متداخل، أصوات متشابهة، مقاطع قصيرة جدًا. ولو التسجيل stereo بقناة لكل طرف (مكالمات)، استخدم القنوات بدل الـ diarization — أدق وأرخص.
العربي في الـ ASR: التحديات الحقيقية
- اللهجات: فرق كبير بين الفصحى والمصري والخليجي والمغاربي. موديل جيد في الأخبار ممكن يبقى ضعيف في مكالمة خدمة عملاء بالعامية. قِس على لهجة مستخدمينك.
- Code-switching: «ابعتلي الـ invoice على الـ email» — كلمات إنجليزي جوه جملة عربي. بعض الموديلات بتكتبها بحروف عربي («انفويس») وده بيبوّظ البحث والـ WER.
- Normalization قبل الـ WER: التشكيل، أشكال الألف (أ/إ/آ/ا)، التاء المربوطة والهاء، الياء والألف المقصورة، الأرقام (٣ vs 3). من غير normalization متفق عليه، الـ WER بيقيس اختلافات إملائية مش أخطاء فهم.
- Diacritics: الـ ASR عادة بيطلع من غير تشكيل؛ ما تعاقبش الموديل عليه في التقييم.
import re, unicodedata
def normalize_ar(text: str) -> str:
text = "".join(c for c in unicodedata.normalize("NFD", text) if unicodedata.category(c) != "Mn") # drop tashkeel
text = re.sub("[إأآا]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")) # Arabic-Indic digits -> ASCII
text = re.sub(r"[^\w\s]", " ", text) # punctuation
return re.sub(r"\s+", " ", text).strip().lower()
# Apply the SAME normalisation to reference and hypothesis before computing WER, and document it in the report.التقييم أبعد من WER
| المقياس | بيقيس | ملاحظة |
|---|---|---|
| WER | (substitutions + deletions + insertions) / عدد كلمات المرجع | ممكن يزيد عن 100% (insertions كتير) |
| CER | نفس الفكرة على الحروف | أنسب للغات بكلمات مركبة ولأخطاء الإملاء البسيطة |
| Entity accuracy | هل الأسماء والأرقام والمبالغ اتكتبت صح؟ | غالبًا أهم من WER العام في البيزنس (رقم طلب غلط = تذكرة غلط) |
| RTF (real-time factor) | وقت المعالجة ÷ مدة الصوت | RTF 0.1 = ساعة صوت في 6 دقايق |
| Downstream task | هل التلخيص/التصنيف بعد الـ ASR صح؟ | الـ ASR جزء من pipeline؛ قيس النتيجة النهائية |
نفس منهج Evaluation Engineering: test set ممثل (لهجات، ضوضاء، مدد مختلفة) بشرائح، وتقرير لكل شريحة، و gate قبل تغيير الموديل.
TTS والـ voice agents باختصار
الاتجاه العكسي (نص ← صوت) بقى جودته عالية جدًا، وده بيفتح «voice agents»: ASR ← LLM ← TTS في حلقة. التحدي الأساسي latency: كل مرحلة بتضيف وقت، والمستخدم بيحس بأي صمت أكتر من ثانية تقريبًا. الحلول: streaming في كل مرحلة، بدء الـ TTS على أول جملة من الـ LLM، وموديلات speech-to-speech أحدث بتلغي بعض المراحل. تحذير أخلاقي وقانوني: استنساخ الأصوات (voice cloning) محتاج موافقة صريحة، وفيه قوانين بتلزم بالإفصاح إن المتكلم AI (شوف التزامات الشفافية في Governance).
Knowledge check
ملف 48 kHz stereo اتبعت لموديل متدرّب على 16 kHz mono من غير تحويل. المتوقع؟
ليه WER ممكن يطلع أكبر من 100%؟
تمارين إضافية محلولة
6: احسب حجم التخزين لـ 10,000 دقيقة مكالمات شهريًا WAV 16 kHz mono 16-bit
الحل: 1.92 MB/دقيقة × 10,000 ≈ 19.2 GB شهريًا. مع Opus مضغوط ممكن تقل كتير، لكن قِس أثر الضغط على الـ WER قبل القرار، وحدد retention (هل محتاج الصوت بعد ما النص اتعمل؟).
7: WER على تسجيلات العملاء 32% وعلى test set الأخبار 9%. خطتك؟
الحل: الفرق domain shift (لهجة، ضوضاء، ميكروفونات، code-switching). اعمل test set من تسجيلات حقيقية (بموافقة) مقسّم بشرائح، قارن موديلات/أحجام، جرّب initial prompt بمصطلحات المجال، و VAD أفضل. لو لسه سيء: fine-tune على بيانات مصنّفة من نفس المجال — بنفس بروتوكول قبل/بعد في درس Fine-tuning.
أسئلة إنترفيو: Junior → Senior
(Junior) إيه هو log-mel spectrogram وليه بنستخدمه؟
(Senior) صمّم خدمة تفريغ اجتماعات لـ SaaS متعدد المستأجرين.
(Senior) العميل اشتكى إن الأرقام في التفريغ غلط دايمًا. تعمل إيه؟
المراجع والقراءة الإضافية
الدرس بيشرح الفكرة نفسها؛ الروابط دي للتحقق والتعمق والرجوع لتفاصيل الـ API. (محتاجة إنترنت.)
التوثيق الرسمي — Official documentation
مصادر تعليمية ومتقدمة — Third-party & advanced reading
خلصت الدرس وحليت الأسئلة؟ علّم عليه عشان يتحسب في تقدّمك.