# 安装说明

本文主要向用户介绍基于昇腾推理设备，如何快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，各软件说明如表1所示。


**表1 昇腾软件介绍**

| 软件类型 | 软件介绍 |
| --- | --- |
| 昇腾NPU固件 | 固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件，分别用于后续加载到AI处理器的模型计算、芯片启动控制和功耗控制。 |
| 昇腾NPU驱动 | 部署在昇腾服务器，管理查询昇腾AI处理器，同时为上层CANN软件提供芯片控制、资源分配等接口。 |
| CANN | 部署在昇腾服务器，包含Runtime、算子库、图引擎、媒体数据处理等组件，通过AscendCL（Ascend Computing Language，昇腾计算语言）对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit（开发套件）、Kernels（算子包）、NNAE（深度学习引擎）、NNRT（离线推理引擎）、NNAL（加速库）、TFPlugin（TensorFlow框架插件）几种软件包，各软件包支持功能范围如下： Toolkit：主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。 NNAE：主要用于训练和推理业务。 NNRT：仅支持离线推理，主要用于应用程序的模型推理。 TFPlugin：用于运行训练业务时和TensorFlow框架进行对接，帮助TensorFlow框架调用底层CANN接口运行训练业务。 Kernels：依赖Toolkit、NNRT或NNAE软件包，可以节省算子编译时间。在大模型推理、训练场景，使用静态库编译应用程序，和运行包含动态shape网络或单算子API（例如aclnn类API）相关业务时安装二进制算子包。 NNAL：依赖Toolkit或NNAE，包含面向大模型领域的ATB（Ascend Transformer Boost）加速库，可以提升大模型训练和推理性能。 |


#### 安装场景

用户需完成硬件、OS、昇腾NPU驱动固件、CANN软件的安装，由于推理前需要进行模型转换，所以CANN软件使用Toolkit（开发套件）。

图1 安装场景


#### 硬件配套

昇腾推理设备包含以下型号，都可作为ModelZoo模型的推理环境，硬件型号如表2所示，其中服务器主要通过插入推理卡来实现推理功能。其中Atlas 800I A2 推理服务器不需要插推理卡。


**表2 硬件配套**

| 服务器 | 推理卡 |
| --- | --- |
| Atlas 800 推理服务器（型号：3000） | Atlas 300I Pro 推理卡 Atlas 300V Pro 视频解析卡 Atlas 300V 视频解析卡 Atlas 300I Duo 推理卡 |
| Atlas 800 推理服务器（型号：3010） | Atlas 300I Pro 推理卡 Atlas 300V Pro 视频解析卡 Atlas 300V 视频解析卡 Atlas 300I Duo 推理卡 |
| Atlas 500 Pro 智能边缘服务器（型号：3000） | Atlas 300I Pro 推理卡 Atlas 300V Pro 视频解析卡 |
| Atlas 800I A2 推理服务器 | \- |