读者对象

本文档主要用于指导开发者如何使用LLM-DataDist接口对大模型的推理进行分离部署，从而提高大模型推理的吞吐性能。

本文档需要读者具备以下方面的知识，会有助于更好的理解文档：

• 了解大模型的基础结构和概念
• 熟悉大模型推理的流程
• 具备python语言程序开发能力
• 有通过使用transformers和vllm框架进行大模型推理的经验