安装部署
ATB(Ascend Transformer Boost)加速库集成在CANN神经网络加速库NNAL包中,加速库包的安装部署请参考《CANN 快速安装》安装昇腾NPU驱动和CANN软件(包含Toolkit、ops和NNAL包),并配置环境变量。
运行加速库前,需确保已配置进程级环境变量脚本“set_env.sh”,用户进程结束后自动失效,具体请参考环境变量参考。以非root用户安装后的默认路径为例,命令如下:
1 | source ${HOME}/Ascend/nnal/atb/set_env.sh |
需注意,NNAL加速库运行时有如下要求:
- 运行NNAL加速库时,glibc版本需大于等于2.17,执行ldd --version可以查询glibc版本(主流Linux系统均满足glibc版本要求,若不满足要求,建议通过重装新版本的系统解决,不推荐直接升级glibc,直接升级glibc可能导致系统崩溃)。
- torch_atb插件运行时依赖PyTorch和TorchNPU,请参考《TorchNPU软件安装》安装表1所示软件,同时,torch_atb插件运行前需已安装ops算子包,以适配TorchNPU业务运行。
- 说明:对于CANN 9.1及之后的版本,因pytorch 2.1生命周期结束,依赖的pytorch版本发生了变更,由原来的pytorch2.1.0 变为了 pytorch2.9.0,另外torch_atb所需的glibc版本为2.38,但旧版torch_atb插件仍可与新版nnal软件包配套使用。具体使用方法:
- 以aarch版本的CANN 9.1配合CANN 9.0中的torch_atb为例,先对CANN 9.0的nnal软件包进行解压,然后使用pip安装torch_atb:
# 解压nnal软件包 ./Ascend-cann-nnal_9.0.0_linux-aarch64.run --extract=<path_nnal> --noexec cd <path_nnal>/run_package # 解压atb软件包 ./Ascend-cann-atb_9.0.0_linux-aarch64.run --extract=<path_atb> --noexec cd <path_atb>/whl # 根据python版本选择cp310或cp311的wheel包 pip3 install torch_atb-0.0.1-cp310-none-any.whl pip3 install torch_atb-0.0.1-cp311-none-any.whl