---
title: PD分离架构说明
description: "该架构将推理的2个阶段（Prefill和Decode）分别部署到不同的实例上进行计算，从而减少Prefill和Decode之间互相干扰，提升推理性能。其基本流程如下："
url: https://www.hiascend.com/document/detail/zh/mindie/latest/mindiellm/llmdev/mindie_llm0044.html
sourcePath: /source/zh/mindie/310/mindiellm/llmdev/mindie_llm0044.html
indexId: 2f220d493bc085321273ca325eec3f7253f5557192f18e5589867c8915802b9e58
---
# PD分离架构说明

该架构将推理的2个阶段（Prefill和Decode）分别部署到不同的实例上进行计算，从而减少Prefill和Decode之间互相干扰，提升推理性能。其基本流程如下：

图1 PD分离架构基本流程

PD分离是集群化架构，集群中，存在三种必要的元素，如下所示：

- 调度器（Coordinator）
- Prefill实例（P）
- Decode实例（D）

其中，调度器负责对外发布推理接口，P、D负责各自推理阶段的计算。调度器（Coordinator）是由集群管理组件实现；P和D实例是由Server实现。

基于该架构，Server不再对终端用户直接开放接口，本章节主要描述Server对集群管理组件开放的接口。