此量化方式将k cache和v cache量化为8 bit，通过减少KV Cache的显存占用，在显存受限场景（如长序列场景）下，可以减少重计算触发次数以提升吞吐。
[object Object]
KV Cache int8搭配W8A8量化后权重目录结构：
[object Object]
- 量化输出包含：权重文件quant_model_weight_w8a8.safetensors和权重描述文件quant_model_description_w8a8.json。
- 目录中的其余文件为推理时所需的配置文件，不同模型略有差异。
以下展示了量化后权重描述文件quant_model_description_w8a8.json中的部分内容：
[object Object]
和W8A8量化权重相比，新增kv_cache_type描述字段，新增kv linear激活值量化缩放因子权重文件kv_cache_scale和kv linear激活值量化偏移值权重文件kv_cache_offset。推理时会基于这两个权重，推导出k_quant_scale，k_dequant_scale，v_quant_scale，v_dequant_scale，k_quant_offset，k_dequant_offset，v_quant_offset和v_dequant_offset。其中quant_scale和quant_offset用于将k和v特征量化为int8类型，dequant_scale和dequant_offset用于将Paged attention的输出反量化为浮点类型。
图 1 量化权重推理时流程[object Object][object Object]
表 1 float16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）
表 2 bfloat16权重量化后dtype及shape信息（假设原始权重的shape为[n, k]）