LLMReqComplete

产品支持情况

函数功能

外部告知Req已结束。

• 全量场景下，如果请求没有对应的增量需要执行，则需要调用该接口释放对应的KV Cache资源。
• 增量场景下，如果请求已经启动执行，等待当前step执行完后，释放增量推理所在batch对应位置的占位符。
• 请求还没开始执行的，从队列中删除该请求。

函数原型

1

ge::Status LLMReqComplete(const LLMReq &req)

参数说明

返回值

请求结束成功

异常处理

无

约束说明

必须先做初始化后才能调用。

只能在LLM_OPTION_BATCH_MODE为auto的时候调用，否则会报错。