下载
中文
注册

安装CANN软件包

使用安装用户登录服务器,将待安装的CANN软件上传到安装环境任意路径(如“/home”)后,执行安装步骤。本章节下述安装步骤均以root用户默认安装路径/usr/local/Ascend为例,请用户根据实际安装路径替换(更改默认安装路径需使用--install-path参数,使用方式参见参数说明)。

安装Toolkit开发套件包

CANN开发套件包,在训练&推理&开发调试场景下安装,主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。

安装Toolkit软件前请确保安装目录可用空间大于7G,如不满足请清理空间或更换安装目录。

  1. 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
    chmod +x Ascend-cann-toolkit_<version>_linux-<arch>.run
    ./Ascend-cann-toolkit_<version>_linux-<arch>.run --check

    出现如下回显信息,表示软件包校验成功。

    1
    Verifying archive integrity...  100%   SHA256 checksums are OK. All good.
    
  2. 安装软件包。
    1
    ./Ascend-cann-toolkit_<version>_linux-<arch>.run --install
    

    执行以上命令会打屏展示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Yy同意协议,继续安装流程。

    安装完成后,若显示如下信息,则说明软件安装成功:
    1
    xxx install success
    

    xxx表示安装的实际软件包名。

  3. 配置环境变量,请根据set_env.sh的实际安装路径进行替换。
    1
    source /usr/local/Ascend/ascend-toolkit/set_env.sh
    
  4. 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
    1. 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
      1
      cd /usr/local/Ascend/ascend-toolkit/latest/<arch>-linux
      
    2. 执行以下命令获取版本信息。
      1
      cat ascend_toolkit_install.info
      

安装NNAE深度学习引擎包

CANN深度学习引擎包,在训练&推理场景下安装,主要用于训练和推理业务。

  1. 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
    1
    2
    chmod +x Ascend-cann-nnae_<version>_linux-<arch>.run
    ./Ascend-cann-nnae_<version>_linux-<arch>.run --check
    

    出现如下回显信息,表示软件包校验成功。

    1
    Verifying archive integrity...  100%   SHA256 checksums are OK. All good.
    
  2. 安装软件包。
    1
    ./Ascend-cann-nnae_<version>_linux-<arch>.run --install
    

    执行以上命令会打屏展示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Yy同意协议,继续安装流程。

    安装完成后,若显示如下信息,则说明软件安装成功:
    1
    xxx install success
    

    xxx表示安装的实际软件包名。

  3. 配置环境变量,请根据set_env.sh的实际安装路径进行替换。
    1
    source /usr/local/Ascend/nnae/set_env.sh
    
  4. 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
    1. 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
      1
      cd /usr/local/Ascend/nnae/latest
      
    2. 执行以下命令获取版本信息。
      1
      cat ascend_nnae_install.info
      

安装NNRT离线推理引擎包

CANN离线推理引擎包,在边缘推理场景下安装,仅支持离线推理,主要用于应用程序的模型推理。

  1. 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
    1
    2
    chmod +x Ascend-cann-nnrt_<version>_linux-<arch>.run
    ./Ascend-cann-nnrt_<version>_linux-<arch>.run --check
    

    出现如下回显信息,表示软件包校验成功。

    1
    Verifying archive integrity...  100%   SHA256 checksums are OK. All good.
    
  2. 安装软件包。
    1
    ./Ascend-cann-nnrt_<version>_linux-<arch>.run --install
    

    执行以上命令会打屏展示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Yy同意协议,继续安装流程。

    安装完成后,若显示如下信息,则说明软件安装成功:
    1
    xxx install success
    

    xxx表示安装的实际软件包名。

  3. 配置环境变量,请根据set_env.sh的实际安装路径进行替换。
    1
    source /usr/local/Ascend/nnrt/set_env.sh 
    
  4. 安装后检查。执行如下命令查询CANN版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
    1. 进入软件包安装信息文件目录,请用户根据实际安装路径替换。<arch>表示CPU架构(aarch64或x86_64)。
      1
      cd /usr/local/Ascend/nnrt/latest/<arch>-linux
      
    2. 执行以下命令获取版本信息。
      1
      cat ascend_nnrt_install.info
      

安装Kernels算子包

Kernels算子包提供了静态库,并能够节省算子编译时间,在如下场景中需要安装:

  • 大模型推理、训练场景。
  • 使用静态库编译应用程序业务场景。
  • 运行包含动态shape网络或单算子API(例如aclnn类API)相关业务场景。

Kernels算子包安装之前,需已安装配套版本的Toolkit并配置环境变量,请使用同一用户安装。

Kernels算子包安装之前,需已安装配套版本的NNAE并配置环境变量,请使用同一用户安装。

Kernels算子包安装之前,需已安装配套版本的NNRT并配置环境变量,请使用同一用户安装。

  1. 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
    1
    2
    chmod +x Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run
    ./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --check
    

    出现如下回显信息,表示软件包校验成功。

    1
    Verifying archive integrity...  100%   SHA256 checksums are OK. All good.
    
  2. 请根据所需的文件,执行对应的命令安装软件包。
    • 安装除静态库之外的其他文件,请执行如下命令:
      1
      ./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --install
      
    • 安装所有文件,包括静态库和动态库,请执行如下命令:
      1
      ./Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run --devel
      

    执行以上命令会打屏展示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Yy同意协议,继续安装流程。

    安装完成后,若显示如下信息,则说明软件安装成功:
    1
    xxx install success
    

    xxx表示安装的实际软件包名。

  3. 安装后检查。执行如下命令查询软件版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
    1. 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
      cd <path>/latest/opp_kernel

      <path>请替换为Kernels依赖的CANN软件包安装路径。

    2. 执行以下命令,查看version_dir字段提供的版本信息。
      1
      cat version.info
      

安装NNAL加速库(可选)

NNAL加速库软件包中提供了面向大模型领域的ATB(Ascend Transformer Boost)加速库,实现了基于Transformer结构的神经网络推理加速引擎库,提供昇腾亲和的融合算子、通信算子、内存优化等,作为算子的公共底座提升了大模型训练和推理性能。

加速库安装之前,需已安装同版本的Toolkit并配置环境变量,请使用同一用户安装。

加速库安装之前,需已安装同版本的NNAE并配置环境变量,请使用同一用户安装。

  1. 增加对软件包的可执行权限,校验软件包安装文件的一致性和完整性。
    1
    2
    chmod +x Ascend-cann-nnal_<version>_linux-<arch>.run
    ./Ascend-cann-nnal_<version>_linux-<arch>.run --check
    

    出现如下回显信息,表示软件包校验成功。

    1
    Verifying archive integrity...  100%   SHA256 checksums are OK. All good.
    
  2. 执行以下命令安装软件。
    1
    ./Ascend-cann-nnal_<version>_linux-<arch>.run --install
    

    执行以上命令会打屏展示华为企业业务最终用户许可协议(EULA)的条款和条件,请输入Yy同意协议,继续安装流程。

    安装完成后,若显示如下信息,则说明软件安装成功:
    1
    xxx install success
    

    xxx表示安装的实际软件包名。

  3. 配置环境变量,请用户根据set_env.sh的实际安装路径进行替换。
    1
    source /usr/local/Ascend/nnal/atb/set_env.sh
    

    执行环境变量脚本时配置abi参数:

    • 自动配置:执行set_env.sh脚本时,若不加任何参数,且已检测到PyTorch环境时会自动调用torch.compiled_with_cxx11_abi()接口,自动选择PyTorch编译时abi参数作为ATB的abi参数,如果没有检测到PyTorch环境则默认配置abi=1
    • 手动配置:执行set_env.sh时,支持用户通过--cxx_abi=1--cxx_abi=0参数指定ATB的abi参数。
  4. 安装后检查。执行如下命令查询软件版本信息,查询结果与安装软件包的版本一致时,则验证安装成功。
    1. 进入软件包安装信息文件目录,请用户根据实际安装路径替换。
      1
      cd /usr/local/Ascend/nnal/atb/latest
      
    2. 执行以下命令获取版本信息。
      1
      cat version.info
      

运行依赖:

运行加速库时,glibc版本需大于等于2.17,执行ldd --version可以查询glibc版本(主流Linux系统均满足glibc版本要求,若不满足要求,建议通过重装新版本的系统解决,不推荐直接升级glibc,直接升级glibc可能导致系统崩溃)。