此量化方式为浮点稀疏量化,对已有权重作如下两步操作: - 稀疏:模型稀疏工具通过算法判断模型权重中每个元素对精度结果的重要性,并将模型权重中对最终精度影响小的权重值置零。 - 压缩:权重压缩工具将模型权重通过压缩算法进一步编码压缩,最大程度地降低权重体积,生成压缩后权重和索引文件。 > [!NOTE]说明 >- 压缩算法和硬件强相关,仅Atlas 300I Duo 推理卡支持浮点稀疏压缩量化。 >- 仅支持Qwen3-32B。 稀疏后权重目录结构: `text ├─ config.json ├─ quantmodelweights.safetensors ├─ quantmodeldescri