add transparent (no-INT8) variant, DFT-canonicalized for OpenVINO
Browse files- README.md +13 -6
- SHA256SUMS +1 -0
- htdemucs-dft-fp16-transparent-portable.onnx +3 -0
README.md
CHANGED
|
@@ -22,12 +22,13 @@ base_model: StemSplitio/htdemucs-onnx
|
|
| 22 |
|
| 23 |
## 该用哪个
|
| 24 |
|
| 25 |
-
| 文件 | 用
|
| 26 |
-
|---|---|---
|
| 27 |
-
| `htdemucs-dft-int8-fp16-final.onnx` | 基准版
|
| 28 |
-
| `htdemucs-dft-int8-fp16-chunked.onnx` | 注意力分块
|
| 29 |
-
| `split3/`
|
| 30 |
-
| `htdemucs-dft-int8-fp16-portable.onnx` | **OpenVINO
|
|
|
|
| 31 |
|
| 32 |
测量环境:i7-12800H,4 线程,`enableCpuMemArena: false`,一个 7.8 s segment。
|
| 33 |
|
|
@@ -35,6 +36,12 @@ base_model: StemSplitio/htdemucs-onnx
|
|
| 35 |
(3 个评测片段,0/2751840 个样本有差异)。OpenVINO 的输出不是逐比特一致,
|
| 36 |
但相对 FP32 参考的误差与 ORT 同量级(30.5/36.2/28.3 dB vs 30.2/35.9/28.2 dB)。
|
| 37 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
## onnxruntime-node
|
| 39 |
|
| 40 |
```ts
|
|
|
|
| 22 |
|
| 23 |
## 该用哪个
|
| 24 |
|
| 25 |
+
| 文件 | 何时用 | ORT(arena 关)峰值 / 耗时 | OpenVINO 峰值 / 耗时 |
|
| 26 |
+
|---|---|---|---|
|
| 27 |
+
| `htdemucs-dft-int8-fp16-final.onnx` | ORT 基准版 | 2.6–3.9 GB / 1.67–1.89 s | 读不了 |
|
| 28 |
+
| `htdemucs-dft-int8-fp16-chunked.onnx` | ORT,注意力分块 | 2.24 GB / 1.86–1.90 s | 读不了 |
|
| 29 |
+
| `split3/` + `parts.json` | **ORT 下内存最省** | **1.10–1.24 GB** / 1.85–2.13 s | 不适用 |
|
| 30 |
+
| `htdemucs-dft-int8-fp16-portable.onnx` | **OpenVINO 首选**,ORT 也能跑 | 2.6–3.9 GB / 1.84 s | **0.98 GB / 1.22 s** |
|
| 31 |
+
| `htdemucs-dft-fp16-transparent-portable.onnx` | **零量化风险**(不含 INT8) | 3.7 GB / 2.02 s | 1.17 GB / 1.54 s |
|
| 32 |
|
| 33 |
测量环境:i7-12800H,4 线程,`enableCpuMemArena: false`,一个 7.8 s segment。
|
| 34 |
|
|
|
|
| 36 |
(3 个评测片段,0/2751840 个样本有差异)。OpenVINO 的输出不是逐比特一致,
|
| 37 |
但相对 FP32 参考的误差与 ORT 同量级(30.5/36.2/28.3 dB vs 30.2/35.9/28.2 dB)。
|
| 38 |
|
| 39 |
+
**transparent 档**不含 INT8:只做了 DFT 替换和 FP16 权重存储,输出与原始 FP32 模型
|
| 40 |
+
数值等同(SDR-vs-FP32 123.6 dB,MUSDB Δ 0.00 dB)。代价是文件 130 MB、比 INT8 档
|
| 41 |
+
慢约 25 %、内存更高。不想承担任何量化风险就用它。它与报告里的
|
| 42 |
+
`htdemucs-dft-fp16-transparent.onnx` 在 ORT 下逐比特一致,区别只是固定了 DFT 的输出
|
| 43 |
+
形状,所以 OpenVINO 也能读。
|
| 44 |
+
|
| 45 |
## onnxruntime-node
|
| 46 |
|
| 47 |
```ts
|
SHA256SUMS
CHANGED
|
@@ -1,3 +1,4 @@
|
|
|
|
|
| 1 |
4a5fb5eb9a80250cf5b943c49e7b934631729abdc91915b02200f732dcb372e9 htdemucs-dft-int8-fp16-chunked.onnx
|
| 2 |
c62cf29b5cabf205b30484dc1603b100a66762b457195366e19af2ed0359af6f htdemucs-dft-int8-fp16-final.onnx
|
| 3 |
3fae08d77f1800a819a625e5829490bf35bb2052c489fb9b313a2bba332e0b1f htdemucs-dft-int8-fp16-portable.onnx
|
|
|
|
| 1 |
+
d0a9cc802ac3f0b9f20ad2f04d56aa8013b9fe3160831c2a3f3ebc4bea254339 htdemucs-dft-fp16-transparent-portable.onnx
|
| 2 |
4a5fb5eb9a80250cf5b943c49e7b934631729abdc91915b02200f732dcb372e9 htdemucs-dft-int8-fp16-chunked.onnx
|
| 3 |
c62cf29b5cabf205b30484dc1603b100a66762b457195366e19af2ed0359af6f htdemucs-dft-int8-fp16-final.onnx
|
| 4 |
3fae08d77f1800a819a625e5829490bf35bb2052c489fb9b313a2bba332e0b1f htdemucs-dft-int8-fp16-portable.onnx
|
htdemucs-dft-fp16-transparent-portable.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:d0a9cc802ac3f0b9f20ad2f04d56aa8013b9fe3160831c2a3f3ebc4bea254339
|
| 3 |
+
size 129977189
|