HandleLora接口

接口功能

动态加载、卸载和查询LoRA。

接口格式

Status HandleLora(const mindie_llm::LoraOperation loraOperation, std::vector<LoraParamSPtr> &loraInfo)

接口参数

参数	是否必选	说明	取值要求
loraOperation	是	选择加载、卸载或查询请求	mindie_llm::LoraOperation。
loraInfo	是	加载、卸载或查询的LoRA的信息	std::vector<LoraParamSPtr>。

使用样例

构造一个LlmManager实例，然后下发加载LoRA的请求。

mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);
std::shared_ptr<mindie_llm::InferRequest> request;
std::vector<LoraParamSPtr> loraInfo;
mindie_llm::LoraOPeration loraOperation = mindie_llm::LoraOPeration::LOAD;
llmManager->UpdateEngineInfo(loraOperation, loraInfo);

返回值

Status对象。

父主题： LlmManager