昇腾社区首页
中文
注册

准备离线模型文件

非量化离线模型文件

以下介绍通过ATC模型转换工具获取离线模型的操作步骤,更多操作请参见ATC工具使用指南

  1. 登录安装了Ascend-cann-toolkit开发套件包的昇腾AI环境。
  2. 获取原始模型文件并保存在任意目录下。

    例如:resnet50_tensorflow*.pb

  3. 开启算子融合执行ATC模型转换。
    atc --model=$HOME/module/resnet50_tensorflow*.pb --framework=3 --output=$HOME/module/out/tf_resnet50_on --soc_version=<soc_version>

    模型转换时,算子融合功能默认开启,无需配置。

    若提示如下信息,则说明模型转换成功。
    ATC run success

    成功执行命令后,在--output参数指定的路径下可查看离线模型(如:tf_resnet50.om)。

  4. 关闭算子融合执行ATC模型转换。
    atc --model=$HOME/module/resnet50_tensorflow*.pb --framework=3 --output=$HOME/module/out/tf_resnet50_off --soc_version=<soc_version>
     --fusion_switch_file=$HOME/module/fusion_switch.cfg

    关闭算子融合功能需要通过--fusion_switch_file参数指定算子融合规则配置文件(如fusion_switch.cfg),并在配置文件中关闭算子融合。融合规则配置文件关闭配置如下:

    {
        "Switch":{
            "GraphFusion":{
                "ALL":"off"
            },
            "UBFusion":{
                "ALL":"off"
             }
        }
    }
    若提示如下信息,则说明模型转换成功。
    ATC run success

    成功执行命令后,在--output参数指定的路径下可查看离线模型(如:tf_resnet50.om)。

量化离线模型文件

  1. 参见AMCT工具(TensorFlow)AMCT工具(ONNX)完成量化操作。
  2. 按照非量化离线模型文件中的ATC操作将量化原始模型文件进行模型转换,即可获取到开启和关闭算子融合的量化离线模型文件。