pluttodk
/

milo-asr

@@ -10,6 +10,7 @@ tags:
   - asr
   - speech-to-text
   - coral
   - streaming
 datasets:
   - alexandrainst/coral
@@ -30,128 +31,88 @@ model-index:
           split: test
         metrics:
           - type: wer
-            value: 18.47
             name: WER
           - type: cer
-            value: 7.86
             name: CER
 ---
-# Milo-ASR: Dansk talegenkendelses model
-**Milo-ASR** er en dansk ASR-model bygget oven på [Qwen3-ASR-1.7B](https://huggingface.co/Qwen/Qwen3-ASR-1.7B), som er finetunet på [CoRal v2-datasættet](https://huggingface.co/datasets/alexandrainst/coral) for at blive god til dansk.
-## Kort fortalt
-| Feature | Værdi |
-|---------|-------|
-| **WER på CoRal v2** | 18,47% (14% bedre end hviske-v3-conversation) |
-| **CER på CoRal v2** | 7,86% (11% bedre end hviske-v3-conversation) |
-| **Real-Time Factor** | 0,087 (43% hurtigere end hviske-v3-conversation) |
-| **Modelstørrelse** | ~1,7B parametre |
-### Hvad Milo-ASR kan (nedarvet fra Qwen3-ASR)
-- **Streaming/realtidstransskription** via vLLM backend
-- **Sanggenkendelse** – Milo-ASR kan transskribere tale i lyd med baggrundsmusik
-- **Tidsstempler på ordniveau** via forced alignment
-- **30+ sprog** (optimeret til dansk)
-- **Op til 20 minutter pr. kald** – du behøver ikke hakke lyden op i småbidder
----
-## Sammenligning med andre modeller
-### CoRal v2 testsæt (9.123 eksempler, ~17,3 timer)
-| Model | WER | CER | RTF | Gennemløb | Parametre |
-|-------|-----|-----|-----|-----------|-----------|
-| **Milo-ASR** | **18,47%** | **7,86%** | **0,087** | **1,69 eks./s** | ~1,7B |
-| hviske-v2 (Whisper Large v2) | 12,74% | 4,94% | 0,154 | 0,95 eks./s | ~1,5B |
-| hviske-v3-conversation (Whisper Large v3) | 21,47% | 8,79% | 0,153 | 0,95 eks./s | ~2B |
-| Whisper Large v3 Turbo | 38,54% | 13,73% | 0,064 | 2,29 eks./s | ~0,8B |
-| Qwen3-ASR-1.7B (base) | 46,03% | 18,85% | 0,100 | 1,46 eks./s | ~1,7B |
-**Milo-ASR vs. hviske-v3-conversation (Whisper Large v3):**
-- **14% lavere** Word Error Rate (18,47% vs. 21,47%)
-- **11% lavere** Character Error Rate (7,86% vs. 8,79%)
-- **43% hurtigere** inferens (RTF: 0,087 vs. 0,153)
-- **15% færre** parametre (~1,7B vs. ~2B)
-> **Bemærk:** hviske-v2 (Whisper Large v2) klarer sig bedre end Milo-ASR på WER og CER. Til gengæld er Milo-ASR næsten dobbelt så hurtig (RTF 0,087 vs. 0,154), så hvis hastighed er vigtig for dig, er Milo-ASR det oplagte valg.
-### Sammenligningsplots
-![WER sammenligning](plots/wer_comparison.png)
-![Hastighed sammenligning](plots/rtf_comparison.png)
-![Nøjagtighed vs. hastighed](plots/accuracy_vs_speed.png)
 ---
-## Kom i gang
-### Installation
 ```bash
 pip install qwen-asr transformers torch
 ```
-### Basis brug
 ```python
 from qwen_asr import Qwen3ASRModel
-# Indlæs Milo-ASR
 model = Qwen3ASRModel.from_pretrained(
     "pluttodk/Milo-ASR",
     dtype="bfloat16",
     device_map="cuda:0",
 )
-# Transskriber en dansk lydfil
 results = model.transcribe(
-    audio="sti/til/dansk_lyd.wav",
     language="Danish",
 )
 print(results[0].text)
 ```
----
-## Avanceret brug
-### Batch-transskription
-Kør flere filer på én gang:
 ```python
-from qwen_asr import Qwen3ASRModel
-model = Qwen3ASRModel.from_pretrained(
-    "pluttodk/Milo-ASR",
-    dtype="bfloat16",
-    device_map="cuda:0",
-    max_inference_batch_size=16,
-)
-audio_filer = ["lyd1.wav", "lyd2.wav", "lyd3.wav"]
-results = model.transcribe(
-    audio=audio_filer,
-    language="Danish",
-)
-for i, result in enumerate(results):
-    print(f"Fil {i+1}: {result.text}")
 ```
-### Transskription med tidsstempler
-Få tidsstempler på ordniveau via forced aligner:
 ```python
-from qwen_asr import Qwen3ASRModel
 model = Qwen3ASRModel.from_pretrained(
     "pluttodk/Milo-ASR",
     forced_aligner="Qwen/Qwen3-ForcedAligner-0.6B",
@@ -160,7 +121,7 @@ model = Qwen3ASRModel.from_pretrained(
 )
 results = model.transcribe(
-    audio="sti/til/lyd.wav",
     language="Danish",
     return_time_stamps=True,
 )
@@ -169,206 +130,56 @@ for item in results[0].time_stamps.items:
     print(f"{item.start_time:.2f}s - {item.end_time:.2f}s: {item.text}")
 ```
-### Streaming i realtid (vLLM backend)
-Hvis du vil have live transskription, fx fra en mikrofon:
 ```python
-from qwen_asr import Qwen3ASRModel
 model = Qwen3ASRModel.LLM(
     model="pluttodk/Milo-ASR",
     gpu_memory_utilization=0.8,
 )
-state = model.init_streaming_state(
-    language="Danish",
-    chunk_size_sec=2.0,
-)
-import numpy as np
-def lyd_stream():
-    """Erstat med din faktiske lydstream fra mikrofon."""
-    for chunk in audio_chunks:
-        yield np.array(chunk, dtype=np.float32)
-for lyd_chunk in lyd_stream():
-    state = model.streaming_transcribe(lyd_chunk, state)
-    print(f"Løbende transskription: {state.text}")
 state = model.finish_streaming_transcribe(state)
-print(f"Endelig transskription: {state.text}")
-```
-### Direkte brug med Transformers
-Vil du have fuld kontrol over modellen, kan du bruge Transformers direkte:
-```python
-from transformers import AutoModel, AutoProcessor
-import torch
-import librosa
-model = AutoModel.from_pretrained(
-    "pluttodk/Milo-ASR",
-    trust_remote_code=True,
-    torch_dtype=torch.bfloat16,
-    device_map="cuda:0",
-)
-processor = AutoProcessor.from_pretrained(
-    "pluttodk/Milo-ASR",
-    trust_remote_code=True,
-)
-audio, sr = librosa.load("sti/til/lyd.wav", sr=16000, mono=True)
-messages = [
-    {"role": "system", "content": ""},
-    {"role": "user", "content": [{"type": "audio", "audio": audio}]},
-]
-text = processor.apply_chat_template(
-    messages,
-    add_generation_prompt=True,
-    tokenize=False
-)
-text = text + "language Danish<asr_text>"
-inputs = processor(text=[text], audio=[audio], return_tensors="pt", padding=True)
-inputs = inputs.to(model.device).to(model.dtype)
-output_ids = model.generate(**inputs, max_new_tokens=512)
-transskription = processor.batch_decode(
-    output_ids[:, inputs["input_ids"].shape[1]:],
-    skip_special_tokens=True,
-)[0]
-print(transskription)
-```
-### Sang og baggrundsmusik
-Milo-ASR kan håndtere lyd med sang eller baggrundsmusik:
-```python
-from qwen_asr import Qwen3ASRModel
-model = Qwen3ASRModel.from_pretrained(
-    "pluttodk/Milo-ASR",
-    dtype="bfloat16",
-    device_map="cuda:0",
-)
-results = model.transcribe(
-    audio="sti/til/sang.wav",
-    language="Danish",  # eller None for automatisk sproggenkendelse
-)
-print(results[0].text)
 ```
 ---
-## Om modellen
-### Beskrivelse
-Milo-ASR er lavet ved at finetunet [Qwen3-ASR-1.7B](https://huggingface.co/Qwen/Qwen3-ASR-1.7B) på [CoRal v2-datasættet](https://huggingface.co/datasets/alexandrainst/coral). Resultatet er en model, der er skarp til dansk tale og samtidig hurtig nok til at bruges i produktionsmiljøer og realtidsapplikationer.
-- **Udviklet af:** Mathias Oliver Valdbjørn Rønnelund
-- **Modeltype:** Encoder-decoder talegenkendelses model
-- **Sprog:** Dansk (primært), med nedarvet flersproget understøttelse
-- **Licens:** OpenRAIL
-- **Finetunet fra:** [Qwen/Qwen3-ASR-1.7B](https://huggingface.co/Qwen/Qwen3-ASR-1.7B)
-### Arkitektur
-| Komponent | Specifikation |
-|-----------|--------------|
-| Audio Encoder | 24-lags transformer (1024 hidden dim, 16 attention heads) |
-| Text Decoder | 28-lags transformer (2048 hidden dim, 16 attention heads) |
-| Parametre i alt | ~1,7 milliarder |
-| Præcision | bfloat16 |
-| Lydinput | 16kHz mono WAV |
 ---
-## Træning
-### Træningsdata
-Milo-ASR er finetunet på [CoRal v2-datasættet](https://huggingface.co/datasets/alexandrainst/coral), som er et dansk talekorpus med:
-- Mange forskellige danske talere på tværs af alder, køn og dialekter
-- Varierende optagelseskvalitet og lydmiljøer
-- Naturlig samtaletale
-- Oplæst tale
-### Træningsopsætning
-**Tilgang:** Supervised Fine-Tuning (SFT) med chat template-formatering
-**Forbehandling:**
-- Lyd resamplet til 16kHz mono
-- Chat template anvendt med systemprompt, lydinput og måltransskription
-- Prefix masking så modellen kun trænes på transskriptionstokens
-**Hyperparametre:**
-| Parameter | Værdi |
-|-----------|-------|
-| Basismodel | Qwen/Qwen3-ASR-1.7B |
-| Læringsrate | 2e-5 |
-| Batchstørrelse (per device) | 8 |
-| Gradient accumulation steps | 4 |
-| Effektiv batchstørrelse | 32 |
-| Epoker | 3 |
-| Warmup ratio | 0,1 |
-| Weight decay | 0,01 |
-| Max gradient norm | 1,0 |
-| Præcision | bfloat16 |
-| Optimizer | AdamW |
-| LR scheduler | Lineært fald |
-| Træningsskridt i alt | 23.448 |
-**Hardware:** NVIDIA GPU'er (~25GB GPU-hukommelse per device)
 ---
-## Evaluering
-### Testdata
-Milo-ASR er evalueret på CoRal v2-testsættet:
-- **9.123 eksempler**
-- **~17,3 timers** lyd
-- Bred repræsentation af danske talere og optagelsesforhold
-### Metrikker
-| Metrik | Beskrivelse |
-|--------|-------------|
-| **WER** | Word Error Rate – andelen af forkert transskriberede ord (lavere er bedre) |
-| **CER** | Character Error Rate – andelen af forkert transskriberede tegn (lavere er bedre) |
-| **RTF** | Real-Time Factor – forholdet mellem procestid og lydvarighed (under 1,0 = hurtigere end realtid) |
-### Resultater
-| Model | WER | CER | RTF | Gennemløb | Parametre |
-|-------|-----|-----|-----|-----------|-----------|
-| **Milo-ASR** | **18,47%** | **7,86%** | **0,087** | **1,69 eks./s** | ~1,7B |
-| hviske-v2 (Whisper Large v2) | 12,74% | 4,94% | 0,154 | 0,95 eks./s | ~1,5B |
-| hviske-v3-conversation (Whisper Large v3) | 21,47% | 8,79% | 0,153 | 0,95 eks./s | ~2B |
-| Whisper Large v3 Turbo | 38,54% | 13,73% | 0,064 | 2,29 eks./s | ~0,8B |
-| Qwen3-ASR-1.7B (base) | 46,03% | 18,85% | 0,100 | 1,46 eks./s | ~1,7B |
-Milo-ASR slår hviske-v3-conversation med 14% på WER og 11% på CER, og er samtidig 43% hurtigere. Sammenlignet med den utrænede Qwen3-ASR-1.7B basismodel falder WER fra 46,03% til 18,47% – et klart tegn på, at finetuning på CoRal v2 gør en stor forskel.
----
-## Citér modellen
-Bruger du Milo-ASR i dit projekt, må du meget gerne citere:
 ```bibtex
 @misc{Milo-ASR,
@@ -380,27 +191,7 @@ Bruger du Milo-ASR i dit projekt, må du meget gerne citere:
 }
 ```
-Og gerne også basismodellen og datasættet:
-```bibtex
-@article{qwen3asr,
-  title={Qwen3-ASR Technical Report},
-  author={Qwen Team},
-  journal={arXiv preprint arXiv:2601.21337},
-  year={2025}
-}
-@dataset{coral,
-  title={CoRal: A Danish Speech Corpus},
-  author={Alexandra Institute},
-  year={2024},
-  url={https://huggingface.co/datasets/alexandrainst/coral}
-}
-```
----
-## Tak til
-- [Qwen-teamet](https://github.com/QwenLM) for Qwen3-ASR basismodellen
-- [Alexandra Instituttet](https://alexandra.dk/) for CoRal v2-datasættet

   - asr
   - speech-to-text
   - coral
+  - podcast
   - streaming
 datasets:
   - alexandrainst/coral
           split: test
         metrics:
           - type: wer
+            value: 23.24
             name: WER
           - type: cer
+            value: 11.17
             name: CER
 ---
+# Milo-ASR: Dansk ASR Model
+**Milo-ASR** er en dansk speech-to-text model baseret på [Qwen3-ASR-1.7B](https://huggingface.co/Qwen/Qwen3-ASR-1.7B), finetuned til at forstå dansk - både oplæst tale og samtaler/podcasts.
+Modellen er trænet på [CoRal v2](https://huggingface.co/datasets/alexandrainst/coral) + danske podcast-data, så den klarer sig godt på tværs af domæner. De fleste andre modeller er kun gode til enten det ene eller det andet.
+## Resultater
+### CoRal v2 (oplæst tale, 10.370 samples)
+| Model | WER | CER |
+|-------|-----|-----|
+| hviske-v2 (Whisper v2) | **17.40%** | **7.96%** |
+| hviske-v3 (Whisper v3) | 21.62% | 9.22% |
+| **Milo-ASR** | 23.24% | 11.17% |
+| Whisper v3 Turbo | 40.35% | 15.51% |
+| Qwen3-ASR base | 46.28% | 19.78% |
+### Podcast (samtaler, 500 samples)
+| Model | WER | CER |
+|-------|-----|-----|
+| **Milo-ASR** | **21.82%** | **15.64%** |
+| hviske-v2 (Whisper v2) | 50.67% | 38.31% |
+| Whisper v3 Turbo | 67.03% | 45.98% |
+| Qwen3-ASR base | 67.52% | 47.71% |
+| hviske-v3 (Whisper v3) | 67.65% | 50.12% |
+Milo-ASR er den eneste model der klarer begge domæner godt. På podcasts er den **2.3x bedre** end næstbedste model (hviske-v2).
+### Plots
+![CoRal v2 WER](plots/wer_comparison.png)
+![Podcast WER](plots/wer_comparison_podcast.png)
+![CoRal vs Podcast](plots/dual_domain_wer.png)
+![Speed](plots/accuracy_vs_speed.png)
 ---
+## Quick Start
 ```bash
 pip install qwen-asr transformers torch
 ```
 ```python
 from qwen_asr import Qwen3ASRModel
 model = Qwen3ASRModel.from_pretrained(
     "pluttodk/Milo-ASR",
     dtype="bfloat16",
     device_map="cuda:0",
 )
 results = model.transcribe(
+    audio="path/to/danish_audio.wav",
     language="Danish",
 )
 print(results[0].text)
 ```
+### Batch Transcription
 ```python
+audio_files = ["audio1.wav", "audio2.wav", "audio3.wav"]
+results = model.transcribe(audio=audio_files, language="Danish")
+for r in results:
+    print(r.text)
 ```
+### Timestamps
 ```python
 model = Qwen3ASRModel.from_pretrained(
     "pluttodk/Milo-ASR",
     forced_aligner="Qwen/Qwen3-ForcedAligner-0.6B",
 )
 results = model.transcribe(
+    audio="path/to/audio.wav",
     language="Danish",
     return_time_stamps=True,
 )
     print(f"{item.start_time:.2f}s - {item.end_time:.2f}s: {item.text}")
 ```
+### Streaming (vLLM)
 ```python
 model = Qwen3ASRModel.LLM(
     model="pluttodk/Milo-ASR",
     gpu_memory_utilization=0.8,
 )
+state = model.init_streaming_state(language="Danish", chunk_size_sec=2.0)
+for audio_chunk in audio_stream():
+    state = model.streaming_transcribe(audio_chunk, state)
+    print(state.text)
 state = model.finish_streaming_transcribe(state)
 ```
 ---
+## Træningsdetaljer
+Modellen er finetuned i to stages:
+1. **Stage 1**: Qwen3-ASR-1.7B finetuned på CoRal v2 (~250K samples, 3 epochs, lr=2e-5)
+2. **Stage 2**: Fortsat fra stage 1 checkpoint på podcast + Azure podcast data (~141K samples, 8 epochs, lr=1e-5, cosine schedule)
+| Parameter | Stage 2 |
+|-----------|---------|
+| Learning rate | 1e-5 |
+| Batch size | 8 (x4 grad acc = 32 effective) |
+| Epochs | 8 |
+| LR scheduler | Cosine |
+| Warmup ratio | 0.1 |
+| Weight decay | 0.01 |
+| Precision | bfloat16 |
+| Training steps | 35,560 |
 ---
+## Ting nedarvet fra Qwen3-ASR
+- Streaming/real-time via vLLM
+- Sang detection (baggrundsmusik)
+- Word-level timestamps
+- 30+ sprog (dansk optimeret)
+- Op til 20 min audio pr. request
 ---
+## Citation
 ```bibtex
 @misc{Milo-ASR,
 }
 ```
+## Acknowledgements
+- [Qwen Team](https://github.com/QwenLM) for Qwen3-ASR
+- [Alexandra Institute](https://alexandra.dk/) for CoRal v2