Transformer大模型推理PD分离部署特性,主要是指模型推理的prefill阶段和decode阶段分别实例化部署在不同的机器资源上同时进行推理,其结合prefill阶段的计算密集型特性,以及decode阶段的访存密集型特性,通过调节PD节点数量配比来提升decode节点的batch size来充分发挥NPU卡的算力,进而提升集群整体吞吐。此外,在decode平均低时延约束场景,PD分离相比P