接口列表
- LLM-DataDist:大模型分布式集群和数据加速组件,提供了集群KV数据管理能力,以支持全量图和增量图分离部署。
- LLM-DataDist相关接口存放在:"${INSTALL_DIR}/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- LLM-DataDist接口对应的库文件是:libllm_datadist.so。
- HIXL:Huawei Xfer Library,面对集群场景提供高性能、零拷贝的点对点数据传输的能力,并通过简易API开放给用户。
- HIXL相关接口存放在:"${INSTALL_DIR}/include/hixl/hixl.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- HIXL接口对应的库文件是:libcann_hixl.so。
支持的形态如下:
Atlas A2 训练系列产品 /Atlas A2 推理系列产品 :针对Atlas A2 训练系列产品 /Atlas A2 推理系列产品 ,仅支持Atlas 800I A2 推理服务器、Atlas 300I A2 推理卡、A200I A2 Box 异构组件。该场景下Server内采用HCCS传输协议时,LLM-DataDist相关接口仅支持D2D。
Atlas A3 训练系列产品 /Atlas A3 推理系列产品 ,该场景下采用HCCS传输协议时,LLM-DataDist相关接口不支持Host内存作为远端Cache。
接口列表如下。
LLM-DataDist
接口名称 |
简介 |
|---|---|
构造LLM-DataDist。 |
|
LLM-DataDist对象析构函数。 |
|
初始化LLM-DataDist。 |
|
释放LLM-DataDist。 |
|
设置当前LLM-DataDist的角色。 |
|
建链。 |
|
断链。 |
|
以连续内存方式拉取KV Cache。 |
|
以block列表的方式拉取KV Cache。 |
|
推送Cache到远端节点。 |
|
通过block列表的方式,推送Cache到远端节点。 |
|
注册本地KV Cache内存。 |
|
解除注册本地KV Cache内存。 |
HIXL
接口名称 |
简介 |
|---|---|
创建HIXL对象。 |
|
HIXL对象析构函数。 |
|
初始化HIXL,在调用其他接口前需要先调用该接口。 |
|
HIXL资源清理函数。 |
|
注册内存地址。用于TransferSync调用指定本地内存地址和远端内存地址,TransferSync指定的地址可以为注册的地址的子集,其中本地内存地址需在当前HIXL进行注册,远端内存地址需要在远端HIXL进行注册。 |
|
解注册内存。 |
|
与远端HIXL进行建链。 |
|
与远端HIXL进行断链。 |
|
与远端HIXL进行内存传输。 |
|
批量异步传输,下发传输请求。 |
|
获取请求状态。 |
|
Client向Server发送Notify信息。 |
|
获取当前Hixl内所有Server收到的Notify信息,并清空已收到信息。 |
ADXL(待废弃)
接口名称 |
简介 |
|---|---|
创建AdxlEngine对象。 |
|
AdxlEngine对象析构函数。 |
|
初始化AdxlEngine,在调用其他接口前需要先调用该接口。 |
|
AdxlEngine资源清理函数。 |
|
注册内存地址。用于TransferSync调用指定本地内存地址和远端内存地址,TransferSync指定的地址可以为注册的地址的子集,其中本地内存地址需在当前AdxlEngine进行注册,远端内存地址需要在远端AdxlEngine进行注册。 |
|
解注册内存。 |
|
与远端AdxlEngine进行建链。 |
|
与远端AdxlEngine进行断链。 |
|
与远端AdxlEngine进行内存传输。 |
|
Client向Server发送Notify信息。 |
|
获取当前AdxlEngine内所有Server收到的Notify信息,并清空已收到信息。 |