读者对象
本文档用于指导开发者如何使用LLM-DataDist的C++接口实现集群间的数据传输,构筑大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。
本文档需要读者具备以下方面的知识,会有助于更好地理解文档:
- 了解大模型的基础结构和概念
- 熟悉大模型推理的流程
- 具备C++语言程序开发能力
- 有使用大模型推理框架进行大模型推理的经验
父主题: 学习向导
本文档用于指导开发者如何使用LLM-DataDist的C++接口实现集群间的数据传输,构筑大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。
本文档需要读者具备以下方面的知识,会有助于更好地理解文档: