简介

前提条件

• 安装软件包：准备带有AI处理器的硬件环境，并安装驱动固件和CANN软件包，具体安装步骤请参见《CANN 软件安装》。
• GCC版本：要求9.5.0及以上，建议使用9.5.0版本。
• CMake：要求3.20.0版本及以上，建议使用3.20.0版本。
• 安装完成后设置环境变量：

  安装CANN软件后，使用CANN运行用户进行编译、运行时，需要以CANN运行用户登录环境，执行source ${INSTALL_DIR}/set_env.sh命令设置环境变量。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例，安装后文件默认存储路径为：/usr/local/Ascend/cann。

AutoFuse使能

AutoFuse框架目前支持Elemwise、Broadcast、Reduce、Concat4大类算子的融合能力。Elemwise、Broadcast类算子融合能力完整，在开启自动融合时默认使能；Reduce、Concat默认不使能需要额外环境变量显式控制开启。在TensorFlow图模式流程中，自动融合的开启方式由环境变量控制，包括功能控制与DFX控制，自动融合开箱只需要打开功能控制，DFX控制用于辅助定位或优化。功能控制的环境变量名为AUTOFUSE_FLAGS，DFX控制的环境变量名为AUTOFUSE_DFX_FLAGS，环境变量值以字符串"--key=value"形式配置，每一项不同的key代表一个具体控制点， 多项配置使用英文分号分隔。配置示例如下：

• 功能控制

  export AUTOFUSE_FLAGS="--enable_autofuse=true;--autofuse_enable_pass=reduce,concat"

• DFX控制：

  export AUTOFUSE_DFX_FLAGS="--att_accuracy_level=1;--att_profiling=true"

支持离线推理静态shape场景开启自动融合功能，方法为：

• 设置环境变量，开启自动融合功能，比如：

  export AUTOFUSE_FLAGS="--enable_autofuse=true

  • 使用ATC离线模型编译工具转换模型，生成om离线模型。
  • 使用GE图引擎接口aclgrphBuildModel编译模型，生成om离线模型。
• 模型加载与推理

  使用acl接口加载生成的om模型，完成推理。

关于ATC工具详细使用方法请参见《ATC离线模型编译工具》。

关于GE图引擎接口使用方法请参见“编译Graph为离线模型 ”。

关于acl接口推理详细说明请参见《应用开发 (C&C++)》中的“模型管理”。