安装说明

本文主要向用户介绍基于Atlas 800 推理服务器（型号：3000）配置Atlas 300推理卡，如何快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，各软件说明如表1所示。

表1 昇腾软件介绍
软件类型	软件介绍
昇腾NPU固件	固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件，分别用于后续加载到AI处理器的模型计算、芯片启动控制和功耗控制。
昇腾NPU驱动	部署在昇腾服务器，用于管理查询昇腾AI处理器，同时为上层CANN软件提供芯片控制、资源分配等接口。
CANN	部署在昇腾服务器，包含Runtime、算子库、图引擎、媒体数据处理等组件，通过AscendCL（Ascend Computing Language，昇腾计算语言）对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit（开发套件）、Kernels（二进制算子包）、NNAE（深度学习引擎）、NNRT（离线推理引擎）、TFPlugin（TensorFlow框架插件）几种软件包，各软件包支持功能范围如下： Toolkit：支持训练和推理业务、模型转换、算子/应用/模型开发和编译。 Kernels：依赖于Toolkit或NNAE，节省算子编译时间。在包含动态shape网络或单算子API（例如aclnn类API）场景下需安装二进制算子包。 NNAE：支持训练和推理业务。 NNRT：仅支持离线推理。 TFPlugin：用于运行训练业务时和TensorFlow框架进行对接，帮助TensorFlow框架调用底层CANN接口运行训练业务。
Ascend Docker	Ascend Docker（容器引擎插件）本质上是基于OCI标准（开放容器倡议标准）实现的Docker Runtime（容器运行环境），不修改Docker引擎，对Docker以插件方式提供Ascend NPU适配功能，使用户AI作业能够以Docker容器的方式平滑运行在昇腾设备上。

安装场景

物理机、容器、虚拟机部署架构如图1所示。CANN软件以Toolkit和Kernels为例，容器场景需要部署Ascend Docker（容器引擎插件）。

方案中Docker为业界通用的容器软件，华为没有进行定制。

图1 安装场景

硬件配套和支持的操作系统

本文介绍的各安装场景硬件配套和支持的操作系统如表2~表5所示，系统架构为Arm架构。

针对大模型推理场景，建议使用96GB内存的Atlas 300I Duo 推理卡，确保内存能满足大模型的参数要求。

表2 物理机场景
硬件款型	操作系统
Atlas 800 推理服务器（型号：3000）+Atlas 300I Pro 推理卡	CentOS 7.6、Ubuntu 18.04.1、Ubuntu 18.04.5、Ubuntu 20.04、CUlinux 3.0、Kylin V10 SP1、Kylin V10 SP2、openEuler 20.03 LTS、openEuler 22.03 LTS
Atlas 800 推理服务器（型号：3000）+Atlas 300V Pro 视频解析卡	CentOS 7.6、Ubuntu 18.04.1、Ubuntu 18.04.5、Ubuntu 20.04、UOS20 1050e、Kylin V10 SP1、openEuler 20.03 LTS、openEuler 22.03 LTS
Atlas 800 推理服务器（型号：3000）+Atlas 300V 视频解析卡	Ubuntu 20.04、openEuler 22.03 LTS
Atlas 800 推理服务器（型号：3000）+Atlas 300I Duo 推理卡	Ubuntu 20.04

表3 容器场景
硬件款型	物理机操作系统	容器内操作系统
Atlas 800 推理服务器（型号：3000）+Atlas 300I Pro 推理卡	CentOS 7.6、Ubuntu 18.04.1、Ubuntu 18.04.5、Ubuntu 20.04、CUlinux 3.0、Kylin V10 SP1、openEuler 22.03 LTS	CentOS 7.6、Ubuntu 18.04.5
Atlas 800 推理服务器（型号：3000）+Atlas 300V Pro 视频解析卡	CentOS 7.6、Ubuntu 18.04.1、Ubuntu 18.04.5、Ubuntu 20.04、Kylin V10 SP1、openEuler 22.03 LTS	CentOS 7.6、Ubuntu 18.04.5
Atlas 800 推理服务器（型号：3000）+Atlas 300V 视频解析卡	Ubuntu 20.04、openEuler 22.03 LTS	CentOS 7.6、Ubuntu 18.04.5
Atlas 800 推理服务器（型号：3000）+Atlas 300I Duo 推理卡	Ubuntu 20.04	CentOS 7.6、Ubuntu 18.04.5

表4 虚拟机场景（NPU芯片直通到虚拟机场景）
硬件款型	物理机操作系统	虚拟机操作系统
Atlas 800 推理服务器（型号：3000）+Atlas 300I Pro 推理卡	CUlinux 3.0	CUlinux 3.0
Atlas 800 推理服务器（型号：3000）+Atlas 300V Pro 视频解析卡/Atlas 300V 视频解析卡	Ubuntu 20.04、openEuler 20.03 LTS	Ubuntu 20.04、openEuler 20.03 LTS、CentOS 8.2、Kylin V10 SP2

表5 虚拟机场景（NPU芯片算力切分后直通到虚拟机场景）
硬件款型	物理机操作系统	虚拟机操作系统
Atlas 800 推理服务器（型号：3000）+Atlas 300V Pro 视频解析卡	UOS20 1050e	UOS20 1050e

父主题： 昇腾软件安装指南