简介

LLM-DataDist作为大模型分布式集群和数据管理组件，提供了高性能、零拷贝的点对点数据传输的能力，该能力通过简易的API开放给用户。

本文档提供C++和Python两套语言的开发指南，用于指导开发者如何使用LLM-DataDist接口实现集群间的数据传输，构筑大模型推理分离式框架。