安装说明

本文主要向用户介绍如何快速完成PyTorch框架、Ascend Extension for PyTorch（即torch_npu插件）的安装。

进行PyTorch安装前，需要准备带有昇腾AI处理器的硬件环境，并安装驱动固件和CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件，各软件说明如表1所示。

表1 昇腾软件介绍
软件类型	软件介绍
昇腾NPU固件	固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件，分别用于后续加载到AI处理器的模型计算、处理器启动控制和功耗控制。
昇腾NPU驱动	部署在昇腾AI处理器，用于管理查询昇腾AI处理器，同时为上层CANN软件提供处理器控制、资源分配等接口。
CANN	部署在昇腾服务器，包含Runtime、算子库、图引擎、媒体数据处理等组件，通过AscendCL（Ascend Computing Language，昇腾计算语言）对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit（开发套件）、NNAE（深度学习引擎）、NNRT（离线推理引擎）、Kernels（算子包）、NNAL（加速库）几种软件包，各软件包支持功能范围如下： Toolkit：CANN开发套件包，在训练&推理&开发调试场景下安装，主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。 NNAE：CANN深度学习引擎包，在训练&推理场景下安装，主要用于训练和推理业务。 NNRT：CANN离线推理引擎包，在边缘推理场景下安装，仅支持离线推理，主要用于应用程序的模型推理。 Kernels：CANN二进制算子包，包括单算子API执行（例如aclnn类API）动态库/静态库文件，以及kernel二进制文件。安装时需已安装Toolkit或NNAE或NNRT软件包。 NNAL：CANN加速库，包含面向大模型领域的ATB（Ascend Transformer Boost）加速库，可以提升大模型训练和推理性能。安装时需已安装Toolkit或NNAE软件包。详情介绍请参见《CANN 软件安装指南》。

安装场景

用户需完成硬件、OS、昇腾NPU驱动固件以及CANN软件的安装，CANN软件使用Toolkit（开发套件），深度学习框架使用PyTorch框架。

图1 训练安装场景

图2 推理安装场景

硬件配套

昇腾训练设备包含以下型号，都可作为PyTorch模型的训练环境，如下所示。

Atlas 训练系列产品
Atlas A2 训练系列产品
Atlas A3 训练系列产品

昇腾推理设备包含以下型号，都可作为大模型的推理环境，如下所示。

Atlas 300I Duo 推理卡
Atlas 800I A2 推理产品