[object Object][object Object]

此量化方式对激活值不做量化，仅将权重量化为8 bit。使用per Channel量化。

[object Object]

量化后权重目录结构：

• 量化输出包含：权重文件quant_model_weight_w8a16.safetensors和权重描述文件quant_model_description.json。
• 目录中的其余文件为推理时所需的配置文件，不同模型略有差异。

以下展示了量化后权重描述文件quant_model_description.json中的部分内容：

量化后的MatMul权重新增weight_scale和weight_offset，用于对MatMul的计算结果进行反量化。

图 1 量化权重推理时流程[object Object][object Object]

此量化方式支持量化float16或bfloat16类型的原始权重。

表 1 float16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）

[object Object]undefined

表 2 bfloat16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）

[object Object]undefined

[object Object]