工具部署架构

产品形态介绍

产品形态不同，AMCT部署架构不同，下面先介绍产品形态，然后分场景介绍不同产品形态下AMCT的部署架构。

以昇腾 AI 处理器的PCIe的工作模式进行区分，如果PCIe工作在主模式，可以扩展外设，则称为RC模式；如果PCIe工作在从模式，则称为EP模式。

• 昇腾 AI 处理器的工作模式如下：
• 支持RC模式的产品：Atlas 200 AI加速模块、Atlas 200 DK 开发者套件。

  产品的CPU直接运行用户指定的AI业务软件，接入网络摄像头、I²C传感器、SPI显示器等其他外挂设备作为从设备接入产品。

• 支持EP模式的产品：

  EP模式通常由Host侧作为主端，Device侧作为从端。客户的AI业务程序运行在Host系统中，产品作为Device系统以PCIe从设备接入Host系统，Host系统通过PCIe通道与Device系统交互，将AI任务加载到Device侧的昇腾 AI 处理器中运行。

两种模式的产品及架构如图1所示。

Host和Device的概念说明如下：

• Host：是指与昇腾AI处理器所在硬件设备相连接的X86服务器、ARM服务器，利用昇腾AI处理器提供的NN（Neural-Network）计算能力完成业务。
• Device：是指安装了昇腾AI处理器的硬件设备，利用PCIe接口与服务器连接，为服务器提供NN计算能力。

图1 RC和EP模式

Ascend EP产品形态部署架构

AMCT部署架构如图2所示，支持部署部署的操作系统请参见支持的OS清单。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图2 Ascend EP部署架构

1. 用户需要先在满足要求的服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配昇腾AI处理器的离线模型。
3. 将2中的.om离线模型，在安装昇腾AI处理器的服务器完成推理业务。

Ascend RC产品形态部署架构

AMCT部署架构如图3所示，当前仅支持在Ubuntu 20.04 aarch64或18.04 aarch64架构操作系统进行部署，配套信息请参见系统要求和环境检查。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图3 Ascend RC部署架构

1. 用户需要先在Ubuntu aarch64架构服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配昇腾AI处理器的离线模型。
3. 将2中的.om离线模型，在安装昇腾AI处理器的服务器完成推理业务。