工具运行流程

搭建带NPU设备的在线推理环境

参见《CANN 软件安装指南》手册搭建对应环境。

安装TensorFlow CPU版本

在线推理环境只支持基于NPU的量化，不支持GPU量化，故只需安装TensorFlow CPU版本。详细安装步骤请参见安装依赖。

安装AMCT

参见工具安装安装TensorFlow框架的AMCT。安装之前需要完成获取软件包，创建AMCT安装用户、环境检查、安装依赖、上传软件包等一系列准备动作。

量化

用户根据准备的原始网络模型以及数据集，采用本手册提供的量化脚本，进行量化。详细量化步骤请参见手工量化。

AMCT是基于深度学习框架进行开发的，在执行量化过程中需要调用深度学习框架进行必要的推理过程。

（后续处理）量化后模型的推理

量化后的.pb模型可以在NPU环境进行在线推理业务。在线推理详细操作请参见《TensorFlow 1.15模型迁移指南》或《TensorFlow 2.6.5模型迁移指南》，用户根据实际使用的TensorFlow版本选择对应的参考手册。