快速入门
本章节介绍各框架下模型如何快速进行AOE调优。如下以算子调优为例,如果需要进行子图调优,请将命令中的job_type取值修改为1即可。
开源框架的TensorFlow网络模型
- 获取TensorFlow网络模型。
- 执行如下命令进行AOE调优。(如下命令中使用的目录以及文件均为样例,请以实际为准。)
aoe --framework=3 --model=${HOME}/module/resnet50_tensorflow_1.7.pb --job_type=2
关于参数的详细解释以及使用方法请参见AOE参数说明。
- 若提示如下信息,则说明AOE调优完成。
1
Aoe process finished
调优完成后,生成如下文件。
- 自定义知识库:若满足自定义知识库生成条件(请参见图3),则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
- om模型:存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om(或者${model_name}_${timestamp}_tune_${os}_${arch}.om)。该模型可以直接用于推理。
- 调优结果文件:调优结束后,会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件,记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。
ONNX网络模型
- 获取ONNX网络模型。
- 执行如下命令进行AOE调优。(如下命令中使用的目录以及文件均为样例,请以实际为准。)
aoe --framework=5 --model=${HOME}/module/resnet50_pytorch_1.4.onnx --job_type=2
关于参数的详细解释以及使用方法请参见AOE参数说明。
- 若提示如下信息,则说明AOE调优完成。
1
Aoe process finished
调优完成后,生成如下文件。
- 自定义知识库:若满足自定义知识库生成条件(请参见图3),则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
- om模型:存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om(或者${model_name}_${timestamp}_tune_${os}_${arch}.om)。该模型可以直接用于推理。
- 调优结果文件:调优结束后,会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件,记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。
MindSpore框架的网络模型
- 获取MindSpore框架的网络模型。
- 执行如下命令进行AOE调优。(如下命令中使用的目录以及文件均为样例,请以实际为准。)
aoe --framework=1 --model=${HOME}/module/ResNet50_for_MindSpore_1.4.air --job_type=2
关于参数的详细解释以及使用方法请参见AOE参数说明。
- 若提示如下信息,则说明AOE调优完成。
1
Aoe process finished
调优完成后,生成如下文件。
- 自定义知识库:若满足自定义知识库生成条件(请参见图3),则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
- om模型:存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om(或者${model_name}_${timestamp}_tune_${os}_${arch}.om)。该模型可以直接用于推理。
- 调优结果文件:调优结束后,会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件,记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。
开源框架的Caffe网络模型
- 获取Caffe网络模型。
- 执行如下命令进行AOE调优。(如下命令中使用的目录以及文件均为样例,请以实际为准。)
aoe --framework=0 --model=${HOME}/module/resnet50.prototxt --weight=${HOME}/module/resnet50.caffemodel --job_type=2
关于参数的详细解释以及使用方法请参见AOE参数说明。
- 若提示如下信息,则说明AOE调优完成。
1
Aoe process finished
调优完成后,生成如下文件。
- 自定义知识库:若满足自定义知识库生成条件(请参见图3),则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
- om模型:存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om(或者${model_name}_${timestamp}_tune_${os}_${arch}.om)。该模型可以直接用于推理。
- 调优结果文件:调优结束后,会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件,记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。
父主题: 离线推理场景下调优(其他推理设备)