推理引擎Engine的初始化函数,用户在声明engine后,需调用Init函数对InferenceEngine初始化。
该函数需与Finalize()成对使用。
Status Init(const SendResponseCallback &callback = nullptr, const std::string &configPath = "");
参数 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|
callback |
必选 |
推理回调函数。 |
合法的回调函数。 |
configPath |
必选 |
配置文件地址。 |
合法地址字符串。 |
const std::string dataset = "token_input_gsm.csv"; IOManager manager(dataset); // IOManger 输入输出读写(请按需求完善) int requestNum = 0; volatile int completeNum = false; // 创建engine实例 auto engineConfig = GetEngineConfig(); engineConfig.response_callback = [&manager, &completeNum](std::shared_ptr<InferenceResponse> &response) { InferenceResponse::Output *output; response->ImmutableOutput("OUTPUT_IDS", &output); manager.SetOutputData(response->GetRequestId().StringValue()); if (response->IsEOS()) { completeNum++; } }; InferenceEngine engine(engineConfig); engine.Init(GetModelConfig(), GetLoaderConfig()); // 初始化engine
初始化状态。