单算子描述文件,将单个算子描述文件(json格式)转换成适配昇腾AI处理器的离线模型,以便进行后续的单算子功能验证。
使用该参数时,只有如下参数可以配合使用,其中--output、--soc_version为必填。
无。
下面以GEMM单算子为例进行说明, 该单算子对应的描述文件为gemm.json ,将该文件上传到ATC工具所在服务器任意目录,例如上传到$HOME/singleop,使用示例如下:
--singleop=$HOME/singleop/gemm.json --output=$HOME/singleop/out/op_model --soc_version=<soc_version>
昇腾310 AI处理器
昇腾310P AI处理器
昇腾910 AI处理器
单算子json文件转换成离线模型场景,如果希望模型转换时只使用TBE算子,还需设置如下环境变量:
export ASCEND_ENGINE_PATH=${INSTALL_DIR}/lib64/plugin/opskernel/libfe.so:${INSTALL_DIR}/lib64/plugin/opskernel/libge_local_engine.so
执行上述命令后:如果用户想要使用AI CPU算子的能力或再次执行开源框架的网络模型转换成离线模型命令,如开源框架的Caffe网络模型转换成离线模型,转换之前,需要删除上述环境变量:执行unset ASCEND_ENGINE_PATH命令,使ASCEND_ENGINE_PATH环境变量失效。