工具运行流程

具体运行流程如图1所示。

图1 运行流程
表1 运行流程关键操作步骤说明

关键步骤

说明

安装前准备

安装昇腾模型压缩工具之前,需要创建昇腾模型压缩工具的安装用户,检查系统环境是否满足要求,安装依赖以及上传软件包等一系列动作。详细操作请参见安装前准备

安装

参见安装安装ONNX模型的昇腾模型压缩工具

安装后处理

由于昇腾模型压缩工具存在基于ONNX Runtime的自定义算子包,而自定义算子编译时依赖ONNX Runtime提供的头文件,因此需要用户自行下载相关头文件后,编译并安装自定义算子包,相关方法请参见安装后处理(该步骤为必选操作,否则可能会导致昇腾模型压缩工具无法使用)。

如果要设置量化过程中打印的日志等级信息,还需要设置环境变量等操作。

(可选)编写脚本,调用昇腾模型压缩工具API

如果用户需要量化自己的网络模型,不使用本手册提供的sample进行量化,则需要修改量化脚本,进行适配,然后才能进行量化。

执行量化

详细介绍请参见量化。如果量化后精度不满足要求,则请参见基于精度的自动量化进行自动量化操作。

自动量化

查看量化后的模型精度是否满足要求,如果不满足,则请参见基于精度的自动量化进行自动量化操作。

(后续处理)使用ATC工具进行模型转换

用户使用上述量化后的部署模型,通过ATC工具转换成昇腾AI处理器的离线模型,然后可以使用该模型进行推理。