LLM-DataDist接口列表_V1

LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，支持全量图和增量图分离部署。

支持的产品形态如下：

Atlas 800I A2 推理产品/A200I A2 Box 异构组件
Atlas A3 训练系列产品/Atlas A3 推理系列产品，该场景下采用HCCS传输协议时，不支持Host内存作为远端Cache。

相关接口存放在："${INSTALL_DIR}/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包，以root安装举例，则安装后文件存储路径为：/usr/local/Ascend/ascend-toolkit/latest。

接口对应的库文件是：libllm_engine.so。

LLM-DataDist接口列表如下。

表1 LLM-DataDist接口_V1
接口名称	简介
LlmDataDist构造函数	构造LLM-DataDist。
~LlmDataDist()	LLM-DataDist对象析构函数。
Initialize	初始化LLM-DataDist。
Finalize	释放LLM-DataDist。
SetRole	设置当前LLM-DataDist的角色。
LinkLlmClusters	建链。
UnlinkLlmClusters	断链。
PullKvCache	以连续内存方式拉取KV Cache。
PullKvBlocks	以block列表的方式拉取KV Cache。
CopyKvCache	以连续内存方式拷贝KV Cache。
CopyKvBlocks	以block列表的方式拷贝KV Cache。
PushKvCache	推送Cache到远端节点，仅当角色为Prompt时可调用。
PushKvBlocks	通过block列表的方式，推送Cache到远端节点，仅当角色为Prompt时可调用。
AllocateCache	分配Cache。
DeallocateCache	释放Cache。

父主题： LLM DataDist接口 (C++)_V1