此量化方式对激活值不做量化，仅将权重量化为8 bit。使用per Channel量化。 > [!NOTE]说明 > >- 仅Atlas 800I A2推理服务器支持此量化方式。 >- 仅支持LLaMA3-70B，Qwen1.5-110B，Qwen2-72B。 >- 仅支持和Anti-Outlier离群值处理、KV Cache int8量化配合使用。 量化后权重目录结构： `text ├─ config.json ├─ quantmodelweight_w8a16.safetensors ├─ quantmodeldescription.json ├─ tokenizer_config.json
