接口列表

• LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，以支持全量图和增量图分离部署。
  • LLM-DataDist相关接口存放在："${INSTALL_DIR}/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包，以root安装举例，则安装后文件存储路径为：/usr/local/Ascend/ascend-toolkit/latest。
  • LLM-DataDist接口对应的库文件是：libllm_datadist.so。
• ADXL：Ascend Device Transfer Library，提供高性能、零拷贝的点对点数据传输的能力，并通过简易API开放给用户。
  • ADXL相关接口存放在："${INSTALL_DIR}/include/adxl/adxl_engine.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包，以root安装举例，则安装后文件存储路径为：/usr/local/Ascend/ascend-toolkit/latest。
  • ADXL接口对应的库文件是：libllm_datadist.so。

支持的产品形态如下：

• Atlas A2 推理系列产品
• Atlas A3 训练系列产品/Atlas A3 推理系列产品，该场景下采用HCCS传输协议时，不支持Host内存作为远端Cache。

接口列表如下。