此量化方式将k cache和v cache量化为8 bit，通过减少KV Cache的显存占用，提升吞吐。 仅Atlas 800I A2 推理服务器A800I A2支持KV Cache int8量化。 仅支持搭配W8A8使用。 仅支持GLM-9B，InternLM2-20B，LLaMA3.1-70B，LLaMA3.1-8B，Qwen2-72B和Qwen2-7B。 仅支持float16数据类型。 KV Cache int8搭配W8A8量化后权重目录结构： ├─ config.json ├─ quant_model_weight_w8a8.safetensors ├─ quant_model_de
