UnregisterKvCache
产品支持情况
产品 |
是否支持 |
|---|---|
√ |
|
√ |
|
x |
|
x |
|
x |
|
x |
函数功能
解除注册本地KV Cache内存。
函数原型
1 | Status UnregisterKvCache(int64_t cache_id); |
参数说明
参数名称 |
输入/输出 |
取值说明 |
|---|---|---|
cache_id |
输入 |
本地注册生成的cache ID。 |
调用示例
1 2 3 4 | int64_t cache_id = -1; // 调用注册接口生成cache_id // 进行其他处理 auto ret = llm_datadist.UnregisterKvCache(cache_id); |
返回值
- LLM_SUCCESS：成功
- 其他：失败
约束说明
需要在Initialize接口初始化完成后调用。仅在配置了llm.LocalCommRes时支持。cache_id必须为RegisterKvCache接口返回的值。
父主题： LlmDataDist接口