昇腾社区首页
中文
注册

读者对象

本文档用于指导开发者如何使用LLM-DataDist的Python接口实现点对点数据传输,构筑大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。

本文档需要读者具备以下方面的知识,会有助于更好地理解文档:

  • 了解大模型的基础结构和概念
  • 熟悉大模型推理的流程
  • 具备Python语言程序开发能力
  • 有使用大模型推理框架进行大模型推理的经验,比如vllm