概述
- 基本概念
昇腾模型压缩工具（Ascend Model Compression Toolkit，简称AMCT）是一个针对昇腾芯片亲和的深度学习模型压缩工具包，提供量化等多种模型压缩特性，压缩后模型体积变小，部署到NPU（昇腾AI处理器）上后可使能低比特运算，提高计算效率，达到性能提升的目标。
- 工具部署架构
基于TF_Adapter的TensorFlow网络模型量化，量化后的模型支持在NPU以及CPU进行推理，其部署架构图如图 部署架构所示。本手册仅介绍量化后的模型在NPU推理的场景。
- 工具运行流程
本节介绍AMCT工具的一个完整运行流程，先搭建环境，然后安装AMCT，量化后的模型，借助在线推理环境进行推理。