前提条件

在MindIE Turbo中，量化特性提供了一系列亲和昇腾硬件的量化算法，使第三方框架（例如vLLM）能够在昇腾硬件上高效地进行量化推理。

已按照软件安装安装必须的组件，并正确使能如下环境变量：

1
2
3
4

# 配置CANN环境，默认安装在/usr/local目录下
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 配置加速库环境
source /usr/local/Ascend/nnal/atb/set_env.sh

MindIE Turbo公共能力支持以下量化推理方式：

• W8A8量化
• Attention量化
• Anti-Outlier离群值处理
  

  当前MindIE Turbo中的量化特性依赖于msModelSlim工具所生成的量化权重，msModelSlim工具安装请参考msModelSlim安装方式。