Hjertelig/nb-whisper-medium-ONNX

nb-whisper-medium (ONNX, med ordtider)

ONNX-utgave av NbAiLab/nb-whisper-medium for transformers.js, laget for nettleserutgaven av Sub-Zero.

Det som skiller den fra andre ONNX-utgaver av modellen: dekoderen har kryssoppmerksomheten som utgang (cross_attentions.0–.23), slik onnx-community/*_timestamped har det. Uten den finnes ingen tidsstempler per ord (return_token_timestamps).

Filer

fil	presisjon	størrelse
onnx/encoder_model_q4.onnx	4-bits vekter (MatMulNBits), regning i fp32	210 MB
onnx/decoder_model_merged_q4.onnx	4-bits vekter, med og uten fortid i én graf	502 MB

import { pipeline } from "@huggingface/transformers";
const asr = await pipeline("automatic-speech-recognition", "Hjertelig/nb-whisper-medium-ONNX", {
  device: "webgpu",
  dtype: { encoder_model: "q4", decoder_model_merged: "q4" },
});

Slik er den laget

• Eksportert med optimum 1.23.3, transformers 4.46.3 og torch 2.5.1, med en WhisperOnnxConfig som legger cross_attentions.{i} til dekoderens utganger og output_attentions=True under eksporten.
• Dekoderne slått sammen med optimum.onnx.merge_decoders.
• Inndataen cache_position (som optimum legger til for transformers ≥ 4.43) er erstattet med Range(fortid, fortid + nye) inne i grafen, så modellen tar de samme inndataene som onnx-community-modellene.
• Kvantisert med MatMul4BitsQuantizer (blokk 32, symmetrisk), som transformers.js sin quantize.py.
• alignment_heads i config.json og generation_config.json er byttet ut med hoder valgt mot en CTC-fasit: [[10,15],[15,4],[16,12],[19,8]]. Modellens egne (OpenAIs for whisper-medium) la ordstartene 68 ms for sent.

Målt

60 setninger fra FLEURS nb_no (test, hver sjette), 12,8 minutter, samme vindusdeling og ordtidsvei som i nettleseren:

modell	WER
onnx-community/nb-whisper-small-ONNX (fp32 + q4)	7,9 %
denne, fp32-enkoder + q4	7,0 %
denne, q4 + q4	6,7 %

Lisens

Apache 2.0, som den opprinnelige modellen fra Nasjonalbiblioteket (NbAiLab).