本文档用于指导开发者如何使用LLM-DataDist的Python接口实现点对点数据传输,构筑大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。
本文档需要读者具备以下方面的知识,会有助于更好地理解文档: