准备离线模型文件
非量化离线模型文件
以下介绍通过ATC模型转换工具获取离线模型的操作步骤,更多操作请参见《ATC工具使用指南》。
- 登录安装了Ascend-cann-toolkit开发套件包的昇腾AI环境。
- 获取原始模型文件并保存在任意目录下。
例如:resnet50_tensorflow*.pb
- 开启算子融合执行ATC模型转换。
atc --model=$HOME/module/resnet50_tensorflow*.pb --framework=3 --output=$HOME/module/out/tf_resnet50_on --soc_version=<soc_version>
模型转换时,算子融合功能默认开启,无需配置。
若提示如下信息,则说明模型转换成功。ATC run success
成功执行命令后,在--output参数指定的路径下可查看离线模型(如:tf_resnet50.om)。
- 关闭算子融合执行ATC模型转换。
atc --model=$HOME/module/resnet50_tensorflow*.pb --framework=3 --output=$HOME/module/out/tf_resnet50_off --soc_version=<soc_version> --fusion_switch_file=$HOME/module/fusion_switch.cfg
关闭算子融合功能需要通过--fusion_switch_file参数指定算子融合规则配置文件(如fusion_switch.cfg),并在配置文件中关闭算子融合。融合规则配置文件关闭配置如下:
{ "Switch":{ "GraphFusion":{ "ALL":"off" }, "UBFusion":{ "ALL":"off" } } }
若提示如下信息,则说明模型转换成功。ATC run success
成功执行命令后,在--output参数指定的路径下可查看离线模型(如:tf_resnet50.om)。
量化离线模型文件
- 参见《AMCT工具(TensorFlow)》或《AMCT工具(ONNX)》完成量化操作。
- 按照非量化离线模型文件中的ATC操作将量化原始模型文件进行模型转换,即可获取到开启和关闭算子融合的量化离线模型文件。