RegisterKvCache

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

注册本地KV Cache内存。

函数原型

Status RegisterKvCache(const CacheDesc &cache_desc,
                       const std::vector<uint64_t> &addrs,
                       const RegisterCfg &cfg,
                       int64_t &cache_id);

参数说明

参数名称	输入/输出	取值说明
cache_desc	输入	本地Cache的描述信息。
addrs	输入	本地Cache的地址。地址个数不超过240。
cfg	输入	预留参数。
cache_id	输出	注册的Cache的ID。可用于后续调用传输kv接口时构造Cache。

调用示例

请参考prompt_sample3。

返回值

LLM_SUCCESS：成功
其他：失败

约束说明

需要在Initialize接口初始化完成后调用。

最大注册50GB的Device内存，20GB的Host内存。注册内存越大，占用的OS内存越多。

父主题： LLM-DataDist接口