工具部署架构

本节介绍AMCT在不同产品形态下的部署架构。

产品形态不同，AMCT部署架构不同，下面先介绍产品形态，然后分场景介绍不同产品形态下AMCT的部署架构。

以昇腾AI处理器的PCIe的工作模式进行区分：

如果PCIe工作在主模式，可以扩展外设，则称为Ascend RC场景：
产品的CPU直接运行用户指定的AI业务软件，接入网络摄像头、I²C传感器、SPI显示器等其他外挂设备作为从设备接入产品。
如果PCIe工作在从模式，则称为Ascend EP场景：
Ascend EP场景通常由Host侧作为主端，Device侧作为从端。客户的AI业务程序运行在Host系统中，产品作为Device系统以PCIe从设备接入Host系统，Host系统通过PCIe通道与Device系统交互，将AI任务加载到Device侧的昇腾AI处理器中运行。Host和Device的概念说明如下：
- Host：是指与昇腾AI处理器所在硬件设备相连接的X86服务器、ARM服务器，利用昇腾AI处理器提供的NN（Neural-Network）计算能力完成业务。
- Device：是指安装了昇腾AI处理器的硬件设备，利用PCIe接口与服务器连接，为服务器提供NN计算能力。

昇腾AI处理器的工作模式以及支持的产品详情如下：

Atlas 200I/500 A2 推理产品有Ascend EP和Ascend RC两种工作场景：
- 支持Ascend RC场景的产品：Atlas 200 AI加速模块、Atlas 200 DK 开发者套件。
- 支持Ascend EP场景的产品：Atlas 500 A2 智能小站、Atlas 200I DK A2 开发者套件、Atlas 200I A2 加速模块。
如下产品只有Ascend EP场景，支持的产品如下：
- Atlas 推理系列产品：Atlas 300I Pro 推理卡。
- Atlas 训练系列产品：Atlas 800 训练服务器、Atlas 300T 训练卡。
- Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件：Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框。
- Atlas A3 训练系列产品/Atlas A3 推理系列产品：Atlas 800T A3 超节点服务器、Atlas 900 A3 SuperPoD 超节点、Atlas 800I A3 超节点服务器。

两种场景的产品及架构如图1所示。

图1 Ascend RC和Ascend EP场景

AMCT部署架构如图2所示，支持部署的操作系统请参见支持的OS清单。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图2 Ascend EP部署架构

AMCT部署架构如图3所示，当前仅支持在Ubuntu 20.04 aarch64或18.04 aarch64架构操作系统进行部署，配套信息请参见系统要求和环境检查。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图3 Ascend RC部署架构

父主题： 概述