---
title: LLM-DataDist接口列表_V1
description: "LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，支持全量图和增量图分离部署。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/others/llmdatadistdev/llmcrv1_42_02.html
sourcePath: /source/zh/canncommercial/900/others/llmdatadistdev/llmcrv1_42_02.html
indexId: 71c0fc0f1316c75a5eea0b0d37244501938d4f9bad5113965000424e15fc9c9f70
---
# LLM-DataDist接口列表_V1

LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，支持全量图和增量图分离部署。

支持的形态如下：

- Atlas A2 训练系列产品 / Atlas A2 推理系列产品：针对 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，仅支持Atlas 800I A2 推理服务器、A200I A2 Box 异构组件。
- Atlas A3 训练系列产品 / Atlas A3 推理系列产品

相关接口存放在："${INSTALL_DIR}/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例，安装后文件默认存储路径为：/usr/local/Ascend/cann。

接口对应的库文件是：libllm_engine.so。

LLM-DataDist接口列表如下。


**表1 LLM-DataDist接口_V1**

| 接口名称 | 简介 |
| --- | --- |
| LlmDataDist构造函数 | 构造LLM\-DataDist。 |
| ~LlmDataDist() | LLM\-DataDist对象析构函数。 |
| Initialize | 初始化LLM\-DataDist。 |
| Finalize | 释放LLM\-DataDist。 |
| SetRole | 设置当前LLM\-DataDist的角色。 |
| LinkLlmClusters | 建链。 |
| UnlinkLlmClusters | 断链。 |
| PullKvCache | 以连续内存方式拉取KV Cache。 |
| PullKvBlocks | 以block列表的方式拉取KV Cache。 |
| CopyKvCache | 以连续内存方式拷贝KV Cache。 |
| CopyKvBlocks | 以block列表的方式拷贝KV Cache。 |
| PushKvCache | 推送Cache到远端节点，仅当角色为Prompt时可调用。 |
| PushKvBlocks | 通过block列表的方式，推送Cache到远端节点，仅当角色为Prompt时可调用。 |
| AllocateCache | 分配Cache。 |
| DeallocateCache | 释放Cache。 |