OmniVoice Urdu Fine-tune
6,000 Steps
Fine-tuned checkpoint of k2-fsa/OmniVoice, fine-tuned for 6,000 training steps on Urdu speech data.
RECOMMENDED CHECKPOINT
Quick Stats
WER Improvement
+0.3617
vs base model
CER Improvement
+0.3211
vs base model
Speaker Similarity Change
-0.0582
vs base model
Base vs Fine-tuned
| Model | Mean WER | Mean CER | Mean Speaker Similarity | Mean Gen Time (s) |
|---|---|---|---|---|
| Base (k2-fsa/OmniVoice) | 0.4170 | 0.3356 | 0.8124 | 5.00 |
| 6,000 Steps (this model) | 0.0553 | 0.0145 | 0.7542 | 4.92 |
Summary Chart
Per-Sentence Results (click to expand)
| Sentence | WER | CER | Speaker Similarity |
|---|---|---|---|
| 1. السلام علیکم، آپ کی کال ہماری کسٹمر سپورٹ ٹیم تک پہنچ گئی ہے۔ میں آپ کی کس طرح مدد کر سکتا ہوں؟ | 0.0455 | 0.0109 | 0.7344 |
| 2. اوئے بھائی، ایک بات بتاؤں؟ لیکن دیکھو، یہ بات آگے کسی کو نہیں بتانی۔ کل میں نے کامران کو بازار میں ایک نئی گاڑی میں دیکھا تھا۔ | 0.0741 | 0.0165 | 0.7236 |
| 3. اگر آپ اپنا اکاؤنٹ بیلنس چیک کرنا چاہتے ہیں تو موبائل ایپ کھولیں، menu میں جائیں اور بیلنس کا آپشن منتخب کریں۔ | 0.0455 | 0.0370 | 0.7380 |
| 4. ارے یار، کل محلے میں کیا ہوا تمہیں پتا ہے؟ میں تو کہتا ہوں ایسی باتیں سن کر بندہ حیران رہ جاتا ہے۔ | 0.0435 | 0.0105 | 0.7489 |
| 5. آپ کی درخواست کامیابی کے ساتھ موصول ہو گئی ہے۔ ہماری ٹیم اس معاملے کا جائزہ لے رہی ہے اور بہت جلد آپ کو تازہ ترین معلومات فراہم کرے گی۔ | 0.0333 | 0.0075 | 0.8183 |
| 6. برائے مہربانی اپنا آرڈر نمبر بتائیں تاکہ میں فوری طور پر آپ کی شکایت درج کر سکوں۔ | 0.0000 | 0.0000 | 0.6987 |
| 7. یار سچی بات ہے، مجھے تو یہ نیا موبائل بالکل پسند نہیں آیا، بیٹری بہت جلدی ختم ہو جاتی ہے۔ | 0.0500 | 0.0116 | 0.7346 |
| 8. ہمارے ریکارڈ کے مطابق آپ کی ادائیگی کامیابی سے مکمل ہو چکی ہے اور رسید آپ کے ای میل پر بھیج دی گئی ہے۔ | 0.0833 | 0.0099 | 0.8075 |
| 9. کیا آپ مجھے بتا سکتے ہیں کہ اگلی فلائٹ کس وقت روانہ ہو گی اور کیا اس میں کوئی تاخیر متوقع ہے؟ | 0.0909 | 0.0109 | 0.7873 |
| 10. پہلے پانی کو ابالیں، پھر اس میں چائے کی پتی ڈالیں اور پانچ منٹ تک پکنے دیں، اس کے بعد دودھ شامل کریں۔ | 0.0870 | 0.0306 | 0.7504 |
Listen: Base vs Fine-tuned (6,000 Steps)
Same reference voice and text, generated by both models side by side.
Test 1 — السلام علیکم، آپ کی کال ہماری کسٹمر سپورٹ ٹیم تک پہنچ گئی ہے۔ میں آپ کی کس طرح مدد کر سکتا ہوں؟
Base Model
Fine-tuned
Test 2 — اوئے بھائی، ایک بات بتاؤں؟ لیکن دیکھو، یہ بات آگے کسی کو نہیں بتانی۔ کل میں نے کامران کو بازار میں ایک نئی گاڑی میں دیکھا تھا۔
Base Model
Fine-tuned
Test 3 — اگر آپ اپنا اکاؤنٹ بیلنس چیک کرنا چاہتے ہیں تو موبائل ایپ کھولیں، menu میں جائیں اور بیلنس کا آپشن منتخب کریں۔
Base Model
Fine-tuned
Test 4 — ارے یار، کل محلے میں کیا ہوا تمہیں پتا ہے؟ میں تو کہتا ہوں ایسی باتیں سن کر بندہ حیران رہ جاتا ہے۔
Base Model
Fine-tuned
Test 5 — آپ کی درخواست کامیابی کے ساتھ موصول ہو گئی ہے۔ ہماری ٹیم اس معاملے کا جائزہ لے رہی ہے اور بہت جلد آپ کو تازہ ترین معلومات فراہم کرے گی۔
Base Model
Fine-tuned
Test 6 — برائے مہربانی اپنا آرڈر نمبر بتائیں تاکہ میں فوری طور پر آپ کی شکایت درج کر سکوں۔
Base Model
Fine-tuned
Test 7 — یار سچی بات ہے، مجھے تو یہ نیا موبائل بالکل پسند نہیں آیا، بیٹری بہت جلدی ختم ہو جاتی ہے۔
Base Model
Fine-tuned
Test 8 — ہمارے ریکارڈ کے مطابق آپ کی ادائیگی کامیابی سے مکمل ہو چکی ہے اور رسید آپ کے ای میل پر بھیج دی گئی ہے۔
Base Model
Fine-tuned
Test 9 — کیا آپ مجھے بتا سکتے ہیں کہ اگلی فلائٹ کس وقت روانہ ہو گی اور کیا اس میں کوئی تاخیر متوقع ہے؟
Base Model
Fine-tuned
Test 10 — پہلے پانی کو ابالیں، پھر اس میں چائے کی پتی ڈالیں اور پانچ منٹ تک پکنے دیں، اس کے بعد دودھ شامل کریں۔
Base Model
Fine-tuned
Usage
from omnivoice import OmniVoice
import soundfile as sf
model = OmniVoice.from_pretrained(
"mlwithabdullah/omnivoice-urdu-6000",
device_map="cuda:0",
)
audio = model.generate(
text="آپ کی درخواست موصول ہو گئی ہے۔",
ref_audio="reference.wav",
ref_text="reference transcript",
)
sf.write("output.wav", audio[0], 24000)
Base model: k2-fsa/OmniVoice. Evaluation methodology: WER/CER via Whisper ASR transcription (Urdu-forced) with Urdu-aware text normalization; speaker similarity via SpeechBrain ECAPA-TDNN (spkrec-ecapa-voxceleb).
- Downloads last month
- 51