简介

LLM-DataDist提供C++与Python两种语言的接口，提供了集群KV数据管理能力，以支持全量图和增量图分离部署。

表1 使用场景介绍
手册名称	简介
LLM DataDist接口参考 (C++)_V1	介绍C++的LLM-DataDist相关接口，包括链路管理和KV Cache管理。该场景下支持单边建链，即Client向Server发起建链。数据传输限制只能从Decode往Prompt拉取KV，从Prompt往Decode推送KV。该场景下仅D2D传输。
LLM DataDist接口参考 (C++)_V2	介绍C++的LLM-DataDist相关接口，包括链路管理和KV Cache管理。该场景下支持单边建链。Decode和Prompt可以双向拉取、推送Cache。介绍C++的ADXL接口，包括链路管理、内存管理、数据传输。在分布式内存池的场景下，ADXL提供了一个纯粹的基于本地地址和远端地址的传输能力。该场景支持D2D、D2H和H2D。
LLM DataDist接口参考 (Python)_V1	介绍Python的LLM-DataDist相关接口，包括KvCacheManager模式下的链路管理和KV Cache管理。该场景下支持单边建链。数据传输限制只能从Decode往Prompt拉取KV，只能从Prompt往Decode推送KV。该场景下仅D2D传输。
LLM DataDist接口参考 (Python)_V2	介绍Python的LLM-DataDist相关接口，包括CacheManager模式下的链路管理和KV Cache管理。该场景下支持单边建链和双边建链，即所有LLM-DataDist同时发起建链。Decode和Prompt可以双向拉取、推送Cache。该场景支持D2D、D2H和H2D。