RunDecoderAsync

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

异步执行增量图。

函数原型

ge::Status RunDecoderAsync(const LLMReq &req, const std::vector<ge::Tensor> &inputs, ge::RunAsyncCallback callback)

参数说明

参数名	输入/输出	描述
req	输入	当前执行的请求。类型为LLMReq。
inputs	输入	计算图输入Tensor，为host上分配的内存空间
callback	输入	回调函数。用户用来处理输出的函数

返回值

请求入队成功

异常处理

无

约束说明

必须先做初始化和linkclusters后才能调用。

只能在LLM_OPTION_ROLE为DECODER的时候调用并且在LLM_OPTION_BATCH_MODE为auto的时候调用，否则会报错。

父主题： LLMEngine