在大模型推理场景下，随着模型batch size的增大，Prefill阶段的性能会线性降低，Decode阶段会额外占用更多的内存。两阶段对资源的需求不同，部署在一起导致资源分配不均，成本居高不下。通过LLM-DataDist构建的大模型推理分离式框架有效地解决了该问题。在分离式框架中，将Prefill和Decode分别部署在不同规格和架构的集群中，提升了性能和资源利用效率，提升了大模型推理系统吞吐
