此量化方式将q，k，v量化为8bit，通过减少KV Cache的显存占用，优化decode阶段attention算子的速度，提升吞吐。
[object Object]
Attention量化搭配W8A8量化后权重目录结构：
[object Object]
- 量化输出包含：权重文件quant_model_weight_w8a8.safetensors和权重描述文件quant_model_description.json。
- 目录中的其余文件为推理时所需的配置文件，不同模型略有差异。
以下展示了量化后权重描述文件quant_model_description.json中的部分内容：
[object Object]
和W8A8量化权重相比，新增fa_quant_type描述字段，新增self_attn字段及下面包含的内容，input_scale用于将q，k，v特征量化为int8类型，deq_scale用于将q，k，v输出反量化成浮点类型。
图 1 量化权重推理时流程
表 1 float16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）
表 2 bfloat16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）