此量化方式将q，k，v量化为8bit，通过减少KV Cache的显存占用，优化decode阶段attention算子的速度，提升吞吐。 > [!NOTE]说明 > >- 仅Atlas 800I A2推理服务器支持Attention量化。 >- 仅支持W8A8配合使用。 >- 仅支持LLaMA3.1-70B。 >- 仅支持和长序列特性、Function Call配合使用。 Attention量化搭配W8A8量化后权重目录结构： `text ├─ config.json ├─ quantmodelweight_w8a8.safetensors ├─ quantmodeldescription.js
