LLM-DataDist接口列表

LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，支持全量图和增量图分离部署。

支持的形态如下：

Atlas A2 训练系列产品/Atlas A2 推理系列产品：针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，仅支持Atlas 800I A2 推理服务器、Atlas 300I A2 推理卡、A200I A2 Box 异构组件。
Atlas A3 训练系列产品/Atlas A3 推理系列产品

相关接口存放在："${INSTALL_DIR}/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例，则安装后文件存储路径为：/usr/local/Ascend/cann。

接口对应的库文件是：libllm_engine.so。

LLM-DataDist接口列表如下。

表1 LLM-DataDist接口_V1
接口名称	简介
LlmDataDist构造函数	构造LLM-DataDist。
~LlmDataDist()	LLM-DataDist对象析构函数。
Initialize	初始化LLM-DataDist。
Finalize	释放LLM-DataDist。
SetRole	设置当前LLM-DataDist的角色。
LinkLlmClusters	建链。
UnlinkLlmClusters	断链。
PullKvCache	以连续内存方式拉取KV Cache。
PullKvBlocks	以block列表的方式拉取KV Cache。
CopyKvCache	以连续内存方式拷贝KV Cache。
CopyKvBlocks	以block列表的方式拷贝KV Cache。
PushKvCache	推送Cache到远端节点，仅当角色为Prompt时可调用。
PushKvBlocks	通过block列表的方式，推送Cache到远端节点，仅当角色为Prompt时可调用。
AllocateCache	分配Cache。
DeallocateCache	释放Cache。

父主题： LLM DataDist接口 (C++)