InitModelForMultiPd接口

接口功能

LlmManager提供的针对PD分离多机场景的初始化模型接口。

接口格式

Status InitModelForMultiPd(std::map<std::string, std::string> pdInfo, uint32_t modelInstanceId)

接口参数

参数

是否必选

说明

取值要求

pdInfo

是

PD分离相关信息。

std::map<std::string, std::string>类型

modelInstanceId

是

模型实例ID。

uint32_t类型。默认值为0，需要配置大于0。

使用样例

构造一个LlmManager实例，然后对其进行初始化操作。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
// 需要定义6.1.1.4的函数
mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);
uint32 modelInstanceId = 0;
std::set<size_t> npuDeviceIds = {0};
llmManager->Init(modelInstanceId,npuDeviceIds); 
std::map<std::string, std::string> pdInfo;
LlmManager->InitModelForMultiPd(pdInfo, modelInstanceId)
父主题： LlmManager