安装CANN软件包

安装Toolkit开发套件包

CANN Toolkit开发套件包，在训练&推理&开发调试场景下安装，主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。

安装Toolkit软件前请确保安装目录可用空间大于7G，如不满足请清理空间或更换安装目录。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   1 2	chmod +x Ascend-cann-toolkit_<version>_linux-<arch>.run ./Ascend-cann-toolkit_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   1	Verifying archive integrity... 100% SHA256 checksums are OK. All good.

2. 安装软件包（安装命令支持--install-path=<path>等参数，具体使用方式请参见参数说明）。

   1	./Ascend-cann-toolkit_<version>_linux-<arch>.run --install

   执行以上命令会打屏华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   1	xxx install success

   xxx表示安装的实际软件包名。

   如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。root用户：“/usr/local/Ascend”，非root用户：“${HOME}/Ascend”，${HOME}为当前用户目录。

3. 配置环境变量，当前以非root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径执行如下命令。

   1	source ${HOME}/Ascend/ascend-toolkit/set_env.sh

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。<arch>表示CPU架构（aarch64或x86_64）。

      1	cd ${HOME}/Ascend/ascend-toolkit/latest/<arch>-linux

   2. 执行命令，查看version字段提供的版本信息。

      1	cat ascend_toolkit_install.info

安装NNAE深度学习引擎包

CANN NNAE深度学习引擎包，在训练&推理场景下安装，主要用于训练和推理业务。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   1 2	chmod +x Ascend-cann-nnae_<version>_linux-<arch>.run ./Ascend-cann-nnae_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   1	Verifying archive integrity... 100% SHA256 checksums are OK. All good.

2. 安装软件包。（安装命令支持--install-path=<path>等参数，具体使用方式请参见参数说明）。

   1	./Ascend-cann-nnae_<version>_linux-<arch>.run --install

   执行以上命令会打屏华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   1	xxx install success

   xxx表示安装的实际软件包名。

   如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。root用户：“/usr/local/Ascend”，非root用户：“${HOME}/Ascend”，${HOME}为当前用户目录。

3. 配置环境变量，当前以非root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径执行如下命令。

   1	source ${HOME}/Ascend/nnae/set_env.sh

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。

      1	cd ${HOME}/Ascend/nnae/latest

   2. 执行命令，查看version字段提供的版本信息。

      1	cat ascend_nnae_install.info

安装NNRT离线推理引擎包

CANN NNRT离线推理引擎包，在边缘推理场景下安装，仅支持离线推理，主要用于应用程序的模型推理。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   1 2	chmod +x Ascend-cann-nnrt_<version>_linux-<arch>.run ./Ascend-cann-nnrt_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   1	Verifying archive integrity... 100% SHA256 checksums are OK. All good.

2. 安装软件包（安装命令支持--install-path=<path>等参数，具体使用方式请参见参数说明）。

   1	./Ascend-cann-nnrt_<version>_linux-<arch>.run --install

   执行以上命令会打屏华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   1	xxx install success

   xxx表示安装的实际软件包名。

   如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。root用户：“/usr/local/Ascend”，非root用户：“${HOME}/Ascend”，${HOME}为当前用户目录。

3. 配置环境变量，当前以非root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径执行如下命令。

   1	source ${HOME}/Ascend/nnrt/set_env.sh

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。<arch>表示CPU架构（aarch64或x86_64）。

      1	cd ${HOME}/Ascend/nnrt/latest/<arch>-linux

   2. 执行命令，查看version字段提供的版本信息。

      1	cat ascend_nnrt_install.info

安装Kernels算子包

CANN二进制算子包，包括单算子API执行（例如aclnn类API）动态库/静态库文件，以及kernel二进制文件。

使用场景：

• 单算子API执行（例如aclnn类API）场景下必须安装该软件包。
• 图模式动态shape场景下，建议安装该软件包，安装后可提升编译性能。
• 图模式静态shape场景下，若安装该软件包，安装后可以提升编译性能。若不安装该软件包，按照确定shape编译新的kernel，可以提升算子执行性能。

Kernels算子包安装之前，需已安装配套版本的Toolkit并配置环境变量。

Kernels算子包安装之前，需已安装配套版本的NNAE并配置环境变量。

Kernels算子包安装之前，需已安装配套版本的NNRT并配置环境变量。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   1 2	chmod +x Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run ./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   1	Verifying archive integrity... 100% SHA256 checksums are OK. All good.

2. 请根据所需的文件，执行对应的命令安装软件包。
   • 安装所有文件，包括单算子API执行（例如aclnn类API）动态库/静态库文件，以及kernel二进制文件，请执行如下命令：

     1	./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --devel

   • 安装除静态库之外的文件，请执行如下命令：

     1	./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --install

   执行以上命令会打屏华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   1	xxx install success

   xxx表示安装的实际软件包名。

3. 安装后检查。执行如下命令查询软件版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。

      1	cd <path>/latest/opp_kernel

      <path>请替换为Kernels依赖的CANN软件包安装路径。

   2. 执行以下命令，查看version_dir字段提供的版本信息。

      1	cat version.info

安装NNAL神经网络加速库（可选）

NNAL神经网络加速库中提供了面向大模型领域的ATB（Ascend Transformer Boost）加速库，实现了基于Transformer结构的神经网络推理加速引擎库，提供昇腾亲和的融合算子、通信算子、内存优化等，作为算子的公共底座提升了大模型训练和推理性能。

加速库安装之前，需已安装同一版本的Toolkit并配置环境变量。

加速库安装之前，需已安装同一版本的NNAE并配置环境变量。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   1 2	chmod +x Ascend-cann-nnal_<version>_linux-<arch>.run ./Ascend-cann-nnal_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   1	Verifying archive integrity... 100% SHA256 checksums are OK. All good.

2. 安装软件包（安装命令支持--install-path=<path>等参数，具体使用方式请参见参数说明）。

   1	./Ascend-cann-nnal_<version>_linux-<arch>.run --install

   执行以上命令会打屏华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   1	xxx install success

   xxx表示安装的实际软件包名。

   如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。root用户：“/usr/local/Ascend”，非root用户：“${HOME}/Ascend”，${HOME}为当前用户目录。

3. 配置环境变量，当前以非root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径执行如下命令。

   1	source ${HOME}/Ascend/nnal/atb/set_env.sh

   

   执行环境变量脚本时配置abi参数：

   • 自动配置：执行set_env.sh脚本时，若不加任何参数，且已检测到PyTorch环境时会自动调用torch.compiled_with_cxx11_abi()接口，自动选择PyTorch编译时abi参数作为ATB的abi参数，如果没有检测到PyTorch环境则默认配置abi=1。
   • 手动配置：执行set_env.sh时，支持用户通过--cxx_abi=1和--cxx_abi=0参数指定ATB的abi参数。

4. 安装后检查。执行如下命令查询NNAL软件版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录。

      1	cd ${HOME}/Ascend/nnal/atb/latest

   2. 执行命令获取NNAL软件包版本信息。

      1	cat version.info

运行NNAL加速库时，glibc版本需大于等于2.17，执行ldd --version可以查询glibc版本（主流Linux系统均满足glibc版本要求，若不满足要求，建议通过重装新版本的系统解决，不推荐直接升级glibc，直接升级glibc可能导致系统崩溃）。