简介

LLM-DataDist提供C++与Python两种语言的接口，提供了集群KV数据管理能力，以支持全量图和增量图分离部署。

表1 使用场景介绍
手册名称	简介
LLM DataDist接口参考 (C++)	介绍C++的LLM-DataDist相关接口，包括链路管理和KV Cache管理。该场景下支持单边建链，即Client向Server发起建链。数据传输限制只能从Decode往Prompt拉取KV，从Prompt往Decode推送KV。该场景下仅D2D传输。
LLM DataDist接口参考 (Python)	介绍Python的LLM-DataDist相关接口，包括KvCacheManager模式下的链路管理和KV Cache管理。该场景下支持单边建链。数据传输限制只能从Decode往Prompt拉取KV，只能从Prompt往Decode推送KV。该场景下仅D2D传输。