UpdateEngineInfo接口

接口功能

下发切换身份请求。

接口格式

bool UpdateEngineInfo(std::shared_ptr<mindie_llm::InferRequest> &runtimeRequest, bool isForceRelease);

接口参数

参数

是否必选

说明

取值要求

runtimeRequest

是

切换身份请求。

std::shared_ptr<MindIE_LLM::InferRequest>。

isForceRelease

是

是否强制释放节点间连接。

bool。

使用样例

构造一个LlmManager实例，然后下发切换身份请求。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);
std::shared_ptr<MindIE_LLM::InferRequest> request;
llmManager->UpdateEngineInfo(request, false);

返回值

bool值。

父主题： LlmManager