[object Object][object Object]

PDMIX量化是指在模型推理的Prefill阶段和Decode阶段使用不同的量化方式。

表 1 PDMIX量化

[object Object]undefined

量化后权重目录结构：

• 量化输出包含：权重文件[object Object]和权重描述文件[object Object]。
• 目录中的其余文件为推理时所需的配置文件，不同模型略有差异。

以下展示了量化后权重描述文件[object Object]中的部分内容：

与W8A8量化权重相比，新增[object Object]和[object Object]，用于对Matmul的计算结果进行反量化。

量化权重推理流程同W8A8量化。

此量化方式支持量化bfloat16类型的原始权重。

表 2 bfloat16权重量化后dtype及shape信息（假设原始权重的shape为 [object Object]）

[object Object]undefined

[object Object]

[object Object]

您可以使用msModelSlim工具生成量化权重：

以Qwen3-14B为例，安装msModelSlim工具后，可以使用如下命令快速生成一份W8A8PDMIX量化权重：

上述命令是msModelSlim工具的一个最佳实践，如需了解更多量化参数配置，请参考msModelSlim工具文档。

[object Object]

以Qwen3-14B-W8A8PDMIX权重为例，您可以使用以下指令执行对话测试，推理内容为"What's deep learning?"，最长输出20个token。