基本概念
Device侧和Host侧
在异构计算架构中， 昇腾AI处理器与服务器的CPU通过PCIe总线连接协同工作，我们一般分别称为Device侧和Host侧，具体说明如下：
- Host：CPU所在位置称为主机端（Host），是指与昇腾AI处理器所在硬件设备（如Atlas 300I 推理卡）相连接的X86服务器或ARM服务器，利用昇腾AI处理器提供的NN（Neural-Network）计算能力完成业务。
- Device：是指安装了昇腾AI处理器的硬件设备，利用PCIe接口与服务器连接，为服务器提供NN计算能力。
Ascend RC和Ascend EP场景
昇腾产品以昇腾AI处理器的PCIe（Peripheral Component Interconnect Express）的工作模式进行区分，分为Ascend RC（Ascend Root Complex）和Ascend EP（Ascend Endpoint），如果PCIe工作在主模式，可以扩展外设，则称为Ascend RC场景；如果PCIe工作在从模式，则称为Ascend EP场景。
|
PCIe工作模式 |
支持的昇腾产品 |
工作模式说明 |
|---|---|---|
|
Ascend RC场景 |
Atlas 200I A2 加速模块（RC场景） Atlas 200I SoC A1核心板 Atlas 200I DK A2 开发者套件 Atlas 500 A2 智能小站 |
产品的CPU直接运行用户指定的AI业务软件，网络摄像头、I2C传感器、SPI显示器等其他外挂设备作为从设备接入产品。 |
|
Ascend EP场景 |
推理产品： Atlas A3 推理系列产品 Atlas 800I A2 推理产品 A200I A2 Box 异构组件 Atlas 推理系列产品 Atlas 200I A2 加速模块（EP场景） Atlas 300I 推理卡（型号：3000） Atlas 300I 推理卡（型号：3010） Atlas 200 AI加速模块（EP场景） Atlas 500 智能小站 |
Ascend EP场景通常由Host侧作为主端，Device侧作为从端。客户的AI业务程序运行在Host系统中，昇腾产品作为Device系统以PCIe从设备接入Host系统，Host系统通过PCIe通道与Device系统交互，将AI任务加载到Device侧的昇腾AI处理器中运行。 |
|
训练产品： Atlas A3 训练系列产品 Atlas A2 训练系列产品 Atlas 训练系列产品 |
CANN包含哪些软件包？
CANN软件包含以下几种，其中Toolkit、NNAE和NNRT三选一安装：
- Toolkit：CANN开发套件包，在训练&推理&开发调试场景下安装，主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。
- NNAE（Ascend Neural Network Acceleration Engine）：CANN深度学习引擎包，在训练&推理场景下安装，主要用于训练和推理业务。
- NNRT（Ascend Neural Network Runtime）：CANN离线推理引擎包，在边缘推理场景下安装，仅支持离线推理，主要用于应用程序的模型推理。
- Kernels：CANN二进制算子包，包括单算子API执行（例如aclnn类API）动态库/静态库文件，以及kernel二进制文件。
- NNAL（Ascend Neural Network Acceleration Library）：CANN神经网络加速库，包含面向大模型领域的ATB（Ascend Transformer Boost）加速库和SiP（Ascend SiP Boost）信号处理加速库。
软件包之间的依赖关系
- Toolkit、NNAE和NNRT任一软件包安装并配置环境变量后，可以安装Kernels。
- Toolkit或NNAE软件包安装并配置环境变量后，可以安装NNAL。