LlmManager的初始化接口。
Status Init(uint32_t modelInstanceId, std::set<size_t> npuDeviceIds)
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
modelInstanceId |
是 |
模型实例Id。 |
uint32_t类型。默认值为0，需要配置大于0，需要有多模型实例的功能。 |
npuDeviceIds |
是 |
npu设备的ids。 |
std::set<size_t>。 |
构造一个LlmManager实例，然后对其进行初始化操作。
1 2 3 4 5 6 7 8 9 10 11 12 | // 需要定义6.1.1.4的函数 mindie_llm::GetRequestsCallback getRequestCallback; mindie_llm::SendResponsesCallback sendResponsesCallback; mindie_llm::ControlSignalCallback stopSignalCallback; mindie_llm::LlmManagerStatsCallback statsCallback; mindie_llm::SendStatusResponseCallback sendStatusCallback; const std::string llmConfigPath; std::map<std::string, std::string> ipInfo; std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo); uint32 modelInstanceId = 0; std::set<size_t> npuDeviceIds = {0}; llmManager->Init(modelInstanceId,npuDeviceIds); |
Status对象。