开发者
下载

安装部署

ATB(Ascend Transformer Boost)加速库集成在CANN神经网络加速库NNAL包中,加速库包的安装部署请参考《CANN 快速安装》安装昇腾NPU驱动和CANN软件(包含Toolkit、ops和NNAL包),并配置环境变量。

运行加速库前,需确保已配置进程级环境变量脚本“set_env.sh”,用户进程结束后自动失效,具体请参考环境变量参考以非root用户安装后的默认路径为例,命令如下:
1
source ${HOME}/Ascend/nnal/atb/set_env.sh

需注意,NNAL加速库运行时有如下要求:

  • 运行NNAL加速库时,glibc版本需大于等于2.17,执行ldd --version可以查询glibc版本(主流Linux系统均满足glibc版本要求,若不满足要求,建议通过重装新版本的系统解决,不推荐直接升级glibc,直接升级glibc可能导致系统崩溃)。
  • torch_atb插件运行时依赖PyTorch和TorchNPU,请参考《TorchNPU软件安装》安装表1所示软件,同时,torch_atb插件运行前需已安装ops算子包,以适配TorchNPU业务运行。
    表1 torch_atb插件依赖列表

    PyTorch版本

    2.9.0

    TorchNPU插件版本

    v7.2.RC1.alpha003-pytorch2.9.0

    Python版本

    3.10.x或3.11.x

  • 说明:对于CANN 9.1及之后的版本,因pytorch 2.1生命周期结束,依赖的pytorch版本发生了变更,由原来的pytorch2.1.0 变为了 pytorch2.9.0,另外torch_atb所需的glibc版本为2.38,但旧版torch_atb插件仍可与新版nnal软件包配套使用。具体使用方法:
  • 以aarch版本的CANN 9.1配合CANN 9.0中的torch_atb为例,先对CANN 9.0的nnal软件包进行解压,然后使用pip安装torch_atb:
    # 解压nnal软件包
    ./Ascend-cann-nnal_9.0.0_linux-aarch64.run --extract=<path_nnal> --noexec
    cd <path_nnal>/run_package
    # 解压atb软件包
    ./Ascend-cann-atb_9.0.0_linux-aarch64.run --extract=<path_atb> --noexec
    cd <path_atb>/whl
    # 根据python版本选择cp310或cp311的wheel包
    pip3 install torch_atb-0.0.1-cp310-none-any.whl
    pip3 install torch_atb-0.0.1-cp311-none-any.whl