RegisterKvCache

产品支持情况

说明：针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，仅支持Atlas 800I A2 推理服务器、Atlas 300I A2 推理卡、A200I A2 Box 异构组件。

函数功能

注册本地KV Cache内存。

函数原型

1
2
3
4

Status RegisterKvCache(const CacheDesc &cache_desc,
                       const std::vector<uint64_t> &addrs,
                       const RegisterCfg &cfg,
                       int64_t &cache_id);

参数说明

调用示例

单击Gitee，根据“标签名”下载配套版本的sample包，从“cplusplus/level1_single_api/11_llm_data_dist”目录中获取样例。

返回值

• LLM_SUCCESS：成功
• 其他：失败

约束说明

需要在Initialize接口初始化完成后调用。

当HDK版本低于25.5.0时，最大注册20GB的Host内存；当HDK版本等于或大于25.5.0时，最大注册1TB的Host内存。注册内存越大，占用的OS内存越多。该约束支持的型号如下：

• Atlas A2 训练系列产品/Atlas A2 推理系列产品
• Atlas A3 训练系列产品/Atlas A3 推理系列产品