读者对象 本文档用于指导开发者如何使用LLM-DataDist的Python接口实现点对点数据传输,构筑大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。 本文档需要读者具备以下方面的知识,会有助于更好地理解文档: 了解大模型的基础结构和概念熟悉大模型推理的流程具备Python语言程序开发能力有使用大模型推理框架进行大模型推理的经验,比如vllm 父主题: 学习向导