Forward接口

接口功能

生成全量token，每生成一个token调用一次回调函数。回调函数通过EngineConfig的response_callback设置。

接口格式

Status Forward(std::shared_ptr<InferenceRequest> &request, bool validRequest = false);

接口参数

使用样例

推理请求。

1
2
3

for (size_t i = 0; i < requests.size(); ++i) {
    engine.Forward(requests[i]);
}

返回值

返回异步推理的结果。

• Status(Error::Code::OK)：操作成功。
• Status(Error::Code::ERROR)：操作失败。
• Status(Error::Code::INVALID_ARG)：非法参数。
• Status(Error::Code::NOT_FOUND)：无法找到指定操作。