Huggingface.js documentation
Interfaz: MlxQuantizationConfig
Interfaz: MlxQuantizationConfig
Jerarquía
-
↳
MlxQuantizationConfig
Indexable
▪ [clave: string]: unknown
Propiedades
bits
• Optional bits: number
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Heredado de
QuantizationConfig.config_groups
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Precisión de los expertos enrutados cuando difiere del cuantizador principal (p. ej., expertos FP4 con atención FP8).
Heredado de
QuantizationConfig.expert_dtype
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:920
format
• Optional format: string
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group _ size
• Optional group_size: number
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore: string[]
compressed-tensors denomina a su lista de exclusiones ignore en lugar de modules_to_not_convert,
utilizando la misma sintaxis de destino con prefijo re: que config_groups[].targets.
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
Heredado de
QuantizationConfig.load_in_4bit
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Heredado de
QuantizationConfig.load_in_8bit
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:932
modo
• Optional mode: string
Modo de cuantización de MLX (p. ej. affine); las configuraciones de MLX no declaran quant_method.
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Heredado de
QuantizationConfig.modules_to_not_convert
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
Algoritmo de NVIDIA ModelOpt (quant_method: "modelopt"), p. ej. "NVFP4", "W4A16_NVFP4", "FP8",
o "MIXED_PRECISION", en cuyo caso el algoritmo por módulo se encuentra en quantized_layers.
Heredado de
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
Heredado de
QuantizationConfig.quant_method
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:918
capas cuantizadas
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt de precisión mixta: nombre del módulo (o un módulo padre, p. ej. …mlp.experts) -> su algoritmo.
Heredado de
QuantizationConfig.quantized_layers
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
Misma función que expert_dtype bajo otro nombre: MiMo-V2.6 es quant_method: "fp8" para sus capas densas, pero almacena los expertos enrutados como store_dtype: "mxfp4", empaquetados de dos en dos por U8.
Heredado de
QuantizationConfig.store_dtype
Definido en
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub