MergeKv
产品支持情况
产品 |
是否支持 |
|---|---|
√ |
|
√ |
|
x |
|
x |
|
x |
|
x |
函数功能
将KV从本暂存区中合并到batch中，该接口会释放暂存区中的KV。
函数原型
1 | ge::Status MergeKv(const uint64_t req_id, const int32_t batch_index, const int32_t batch_id = 0, uint64_t model_id = 0UL) |
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
req_id |
输入 |
请求ID，需要和PullKv时传入的LlmReq中的req_id一致。 |
batch_index |
输入 |
合入KV的目标batch index。 |
batch_id |
输入 |
合入KV的目标batch ID。 |
model_id |
输入 |
模型ID，默认为0。 |
返回值
合并KV的结果，取值如下：
- SUCCESS：成功
- LLM_PARAM_INVALID：参数错误， 如cluster ID校验错，当前非manual batching模式， batch_index，batch_id越界等
- LLM_KV_CACHE_NOT_EXIST: KV不在暂存区
- FAILED: 合并KV失败
异常处理
无
父主题： LLMEngine