快速入门
昇腾模型压缩工具支持命令行方式和Python API接口方式量化原始网络模型,命令行方式相比Python API接口方式有以下优点:
命令行方式 |
Python API接口方式 |
---|---|
量化准备动作简单,只需准备模型和模型匹配的数据集即可。 |
需要了解Python语法和量化流程。 |
量化过程简单,只涉及参数选择,无需对量化脚本进行适配。 |
需要适配修改量化脚本。 |
当前仅支持如下特性:
|
支持量化的所有功能。 |
本章节以Sample中ResNet-101网络模型为例,为您介绍如何借助命令行参数快速体验量化一个模型,Python API接口方式请参见量化。Sample获取链接请单击Link。
- 获取ONNX网络模型。
- 准备模型相匹配的二进制数据集,并上传到Linux服务器任意目录,例如上传到$HOME/quickstart/dataset/目录。
- 在任意目录执行如下命令进行网络模型的量化操作。如下命令中使用的目录以及文件均为样例,请以实际为准。
amct_onnx calibration --model ./model/resnet101_v11.onnx --save_path ./results/resnet101_v11 --input_shape "input:16,3,224,224" --data_dir "./data/images" --data_types "float32"
用户可以通过amct_onnx calibration --help命令查看命令行涉及的所有参数,关于参数的详细解释以及使用方法请参见命令行参数说明。
- 若提示如下信息且无Error日志信息,则说明模型量化成功。
INFO - [AMCT]:[Utils]: The model file is saved in $HOME/xxx/results/resnet101_fake_quant_model.onnx
量化后生成文件说明如下:
- amct_log/amct_onnx.log:记录了工具的日志信息,包括量化过程的日志信息。
- results:
- resnet101_deploy_model.onnx:量化后的可在昇腾AI处理器部署的模型文件。
- resnet101_fake_quant_model.onnx:量化后的可在ONNX执行框架ONNX Runtime进行精度仿真的模型文件。
- resnet101_quant.json:量化信息文件(该文件名称和量化后模型名称保持统一),记录了量化模型同原始模型节点的映射关系,用于量化后模型同原始模型精度比对使用。
- (可选)随机数_时间戳,该目录只有AMCT_LOG_LEVEL=DEBUG时才会生成,设置方法请参见设置环境变量:
- quant_config.json:量化配置文件,描述了如何对模型中的每一层进行量化。如果当前目录已经存在量化配置文件,则再次进行量化时,如果新生成的量化配置文件与已有的文件同名,则会覆盖已有的量化配置文件,否则生成新的量化配置文件。
实际量化过程中,如果量化后的模型推理精度不满足要求,则用户可以根据量化后的quant_config.json,自行构造简易配置文件config.cfg,构造原则请参见调优流程。然后使用--calibration_config参数重新进行量化。通过该文件用户可以自行决定校准使用的数据量,以及控制哪些层进行量化等。
- record.txt:记录量化因子的文件。关于该文件的原型定义请参见量化因子记录文件说明。
- modified_model.onnx、updated_model.onnx:量化过程中的中间文件。
- quant_config.json:量化配置文件,描述了如何对模型中的每一层进行量化。如果当前目录已经存在量化配置文件,则再次进行量化时,如果新生成的量化配置文件与已有的文件同名,则会覆盖已有的量化配置文件,否则生成新的量化配置文件。
父主题: 昇腾模型压缩工具使用指南(ONNX)