安装CANN软件包
前提条件
- 使用安装用户登录服务器,将待安装的CANN软件包上传到安装环境任意路径(如“/home”)后,执行安装步骤。
- root用户和非root用户安装CANN软件包的步骤一致,当前示例步骤以非root用户为例。
- 请参考本文档正确安装和使用CANN软件,不建议将CANN安装在共享磁盘后,通过挂载的方式使用CANN,因为CANN对文件系统有文件锁的依赖,部分共享存储不支持文件锁,可能导致任务拉起失败。
安装Toolkit开发套件包
CANN Toolkit开发套件包,在训练&推理&开发调试场景下安装,主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。

安装Toolkit软件前请确保安装目录可用空间大于10G,如不满足请清理空间或更换安装目录。
- 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
1 2
chmod +x Ascend-cann-toolkit_<version>_linux-<arch>.run ./Ascend-cann-toolkit_<version>_linux-<arch>.run --check
出现如下回显信息,表示软件包校验成功。
1
Verifying archive integrity... 100% SHA256 checksums are OK. All good.
- 安装软件包(安装命令支持--install-path=<path>等参数,具体使用方式请参见参数说明)。
- 配置环境变量,当前以非root用户安装后的默认路径为例,请用户根据set_env.sh的实际路径执行如下命令。
1
source ${HOME}/Ascend/ascend-toolkit/set_env.sh
上述环境变量配置只在当前窗口生效,用户可以按需将以上命令写入环境变量配置文件(如.bashrc文件)。
- 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
1
cd ${HOME}/Ascend/ascend-toolkit/latest/<arch>-linux
- 执行命令,查看version字段提供的版本信息。
1
cat ascend_toolkit_install.info
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
安装NNAE深度学习引擎包
CANN NNAE深度学习引擎包,在训练&推理场景下安装,主要用于训练和推理业务。
- 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
1 2
chmod +x Ascend-cann-nnae_<version>_linux-<arch>.run ./Ascend-cann-nnae_<version>_linux-<arch>.run --check
出现如下回显信息,表示软件包校验成功。
1
Verifying archive integrity... 100% SHA256 checksums are OK. All good.
- 安装软件包(安装命令支持--install-path=<path>等参数,具体使用方式请参见参数说明)。
- 配置环境变量,当前以非root用户安装后的默认路径为例,请用户根据set_env.sh的实际路径执行如下命令。
1
source ${HOME}/Ascend/nnae/set_env.sh
上述环境变量配置只在当前窗口生效,用户可以按需将以上命令写入环境变量配置文件(如.bashrc文件)。
- 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
1
cd ${HOME}/Ascend/nnae/latest
- 执行命令,查看version字段提供的版本信息。
1
cat ascend_nnae_install.info
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
安装NNRT离线推理引擎包
CANN NNRT离线推理引擎包,在边缘推理场景下安装,仅支持离线推理,主要用于应用程序的模型推理。
- 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
1 2
chmod +x Ascend-cann-nnrt_<version>_linux-<arch>.run ./Ascend-cann-nnrt_<version>_linux-<arch>.run --check
出现如下回显信息,表示软件包校验成功。
1
Verifying archive integrity... 100% SHA256 checksums are OK. All good.
- 安装软件包(安装命令支持--install-path=<path>等参数,具体使用方式请参见参数说明)。
- 配置环境变量,当前以非root用户安装后的默认路径为例,请用户根据set_env.sh的实际路径执行如下命令。
1
source ${HOME}/Ascend/nnrt/set_env.sh
上述环境变量配置只在当前窗口生效,用户可以按需将以上命令写入环境变量配置文件(如.bashrc文件)。
- 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
1
cd ${HOME}/Ascend/nnrt/latest/<arch>-linux
- 执行命令,查看version字段提供的版本信息。
1
cat ascend_nnrt_install.info
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
安装Kernels算子包
CANN二进制算子包,包括单算子API执行(例如aclnn类API)动态库/静态库文件,以及kernel二进制文件。
Kernels算子包安装之前,需已安装配套版本的Toolkit并配置环境变量。
Kernels算子包安装之前,需已安装配套版本的NNAE并配置环境变量。
Kernels算子包安装之前,需已安装配套版本的NNRT并配置环境变量。
- 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
1 2
chmod +x Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run ./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --check
出现如下回显信息,表示软件包校验成功。
1
Verifying archive integrity... 100% SHA256 checksums are OK. All good.
- 请根据所需的文件,执行对应的命令安装软件包。
- 安装所有文件,包括单算子API执行(例如aclnn类API)动态库/静态库文件,以及kernel二进制文件,请执行如下命令:
1
./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --devel
- 安装除静态库之外的其他文件,请执行如下命令:
1
./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --install
执行以上命令会显示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Y或y同意协议,继续安装流程。
安装完成后,若显示如下信息,则说明软件安装成功:1
xxx install success
xxx表示安装的实际软件包名。
- 安装所有文件,包括单算子API执行(例如aclnn类API)动态库/静态库文件,以及kernel二进制文件,请执行如下命令:
- 安装后检查。执行如下命令查询软件版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
1
cd <path>/latest/opp_kernel
<path>请替换为Kernels依赖的CANN软件包安装路径。
- 执行以下命令,查看version_dir字段提供的版本信息。
1
cat version.info
- 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
安装NNAL神经网络加速库(可选)
NNAL神经网络加速库中提供了面向大模型领域的ATB(Ascend Transformer Boost)加速库,实现了基于Transformer结构的神经网络推理加速引擎库,提供昇腾亲和的融合算子、通信算子、内存优化等,作为算子的公共底座提升了大模型训练和推理性能。
需注意,NNAL软件包中提供了C++和Python库(torch_atb插件)来调用ATB算子,用户可以选择单独安装C++库,或者同时安装。
加速库安装之前,需已安装同一版本的Toolkit并配置环境变量。
加速库安装之前,需已安装同一版本的NNAE并配置环境变量。
- 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
1 2
chmod +x Ascend-cann-nnal_<version>_linux-<arch>.run ./Ascend-cann-nnal_<version>_linux-<arch>.run --check
出现如下回显信息,表示软件包校验成功。
1
Verifying archive integrity... 100% SHA256 checksums are OK. All good.
- 安装软件包(安装命令支持--install-path=<path>等参数,具体使用方式请参见参数说明)。请根据所需的文件,执行对应的命令安装软件包。
1
./Ascend-cann-nnal_<version>_linux-<arch>.run --install
如需安装Python库(torch_atb插件),安装时需添加--torch_atb参数,并确保已安装kernels算子包。
执行以上命令会显示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Y或y同意协议,继续安装流程。
安装完成后,若显示如下信息,则说明软件安装成功:1
xxx install success
xxx表示安装的实际软件包名。
如果用户未指定安装路径,则软件会安装到默认路径下,默认安装路径如下。root用户:“/usr/local/Ascend”,非root用户:“${HOME}/Ascend”,${HOME}为当前用户目录。
- 配置环境变量,当前以非root用户安装后的默认路径为例,请用户根据set_env.sh的实际路径进行替换。
1
source ${HOME}/Ascend/nnal/atb/set_env.sh
上述环境变量配置只在当前窗口生效,用户可以按需将以上命令写入环境变量配置文件(如.bashrc文件)。
- 安装后检查。执行如下命令查询NNAL软件版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
- 进入软件包安装信息文件目录。
1
cd ${HOME}/Ascend/nnal/atb/latest
- 执行以下命令获取软件包版本信息。
1
cat version.info
- 进入软件包安装信息文件目录。