---
title: 工具部署架构
description: "本节介绍AMCT在不同产品形态下的部署架构。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/amct/atlasamct_16_0005.html
sourcePath: /source/zh/canncommercial/900/devaids/amct/atlasamct_16_0005.html
indexId: 755359c4e37ba679db4300e8d9812d37310f68afd29bf557257ea7e768e1647e65
---
# 工具部署架构

本节介绍AMCT在不同产品形态下的部署架构。

#### 产品形态介绍

产品形态不同，AMCT部署架构不同，下面先介绍产品形态，然后分场景介绍不同产品形态下AMCT的部署架构。

以昇腾AI处理器的PCIe的工作模式进行区分：

- 如果PCIe工作在主模式，可以扩展外设，则称为Ascend RC场景：
  产品的CPU直接运行用户指定的AI业务软件，接入网络摄像头、I2C传感器、SPI显示器等其他外挂设备作为从设备接入产品。

- 如果PCIe工作在从模式，则称为Ascend EP场景：
Ascend EP 场景通常由Host侧作为主端，Device侧作为从端。客户的AI业务程序运行在Host系统中，产品作为Device系统以PCIe从设备接入Host系统，Host系统通过PCIe通道与Device系统交互，将AI任务加载到Device侧的昇腾AI处理器中运行。Host和Device的概念说明如下：

  - Host：是指与昇腾AI处理器所在硬件设备相连接的X86服务器、ARM服务器，利用昇腾AI处理器提供的NN（Neural-Network）计算能力完成业务。
  - Device：是指安装了昇腾AI处理器的硬件设备，利用PCIe接口与服务器连接，为服务器提供NN计算能力。

昇腾AI处理器的工作模式以及支持的产品详情如下：- Atlas 200I/500 A2 推理产品有Ascend EP和Ascend RC两种工作场景：

  - 支持Ascend RC场景的产品：Atlas 200 AI加速模块、Atlas 200 DK 开发者套件。
  - 支持Ascend EP场景的产品：Atlas 500 A2 智能小站、Atlas 200I DK A2 开发者套件、Atlas 200I A2 加速模块。
- 如下产品只有Ascend EP场景，支持的产品如下：

  - Atlas 推理系列产品：Atlas 300I Pro 推理卡。
  - Atlas 训练系列产品：Atlas 800 训练服务器、Atlas 300T 训练卡。
  - Atlas A2 训练系列产品 / Atlas A2 推理系列产品：Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框。
  - Atlas A3 训练系列产品 / Atlas A3 推理系列产品：Atlas 800T A3 超节点服务器、Atlas 900 A3 SuperPoD 超节点、Atlas 800I A3 超节点服务器。
  - Atlas 350 加速卡


两种场景的产品及架构如图1所示。

图1 Ascend RC 和 Ascend EP 场景


#### Ascend EP 场景部署架构

AMCT部署架构如图2所示，支持部署的操作系统请参见支持的OS清单。使用该工具量化完的模型，需要借助ATC工具转换成适配AI处理器的离线模型，然后完成推理操作。

图2 Ascend EP 部署架构

1. 用户需要先在满足要求的服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配AI处理器的离线模型。
3. 将  2
中的.om离线模型，在安装AI处理器的服务器完成推理业务。

PyTorch框架模型，如果要基于NPU进行量化，则必须在安装昇腾AI处理器的环境上安装AMCT（驱动固件和CANN软件包必须安装），详细配套请参见系统要求和环境检查。


#### Ascend RC 场景部署架构

AMCT部署架构如图3所示，配套信息请参见系统要求和环境检查。使用该工具量化完的模型，需要借助ATC工具转换成适配AI处理器的离线模型，然后完成推理操作。图3 Ascend RC 部署架构


1. 用户需要先在Ubuntu aarch64架构服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配AI处理器的离线模型。
3. 将  2
中的.om离线模型，在安装AI处理器的服务器完成推理业务。