简介

LLM-DataDist作为大模型分布式集群和数据管理组件，提供了高性能、零拷贝的点对点KV传输的能力，该能力通过简易的API开放给用户。

本文档提供C++和Python两套语言的开发指南，用于指导开发者如何使用LLM-DataDist接口实现集群间的数据传输，构筑大模型推理分离式框架。

表1 使用场景介绍
手册名称	简介
LLM DataDist开发指南 (C++)_V1	介绍通过C++的LLM-DataDist相关接口，如何进行链路管理和KV Cache管理。该场景下支持单边建链，即Client向Server发起建链。数据传输限制只能从Decode往Prompt拉取KV，从Prompt往Decode推送KV。该场景下仅D2D传输。
LLM DataDist开发指南 (C++)_V2	介绍通过C++的LLM-DataDist相关接口，如何进行链路管理、KV Cache管理。该场景下支持单边建链。Decode和Prompt可以双向拉取、推送Cache。介绍通过C++的ADXL接口，如何进行链路管理、内存管理、数据传输。在分布式内存池的场景下，ADXL提供了一个纯粹的基于本地地址和远端地址的传输能力。该场景支持D2D、D2H和H2D。
LLM DataDist开发指南 (Python)_V1	介绍通过Python的LLM-DataDist相关接口，在KvCacheManager模式下如何进行链路管理和KV Cache管理。该场景下支持单边建链。数据传输限制只能从Decode往Prompt拉取KV，只能从Prompt往Decode推送KV。该场景下仅D2D传输。
LLM DataDist开发指南 (Python)_V2	介绍通过Python的LLM-DataDist相关接口，在CacheManager模式下如何进行链路管理和KV Cache管理。该场景下支持单边建链和双边建链，即所有LLM-DataDist同时发起建链。Decode和Prompt可以双向拉取、推送Cache。该场景支持D2D、D2H和H2D。