LlmManager接口

接口功能

默认构造函数。

接口格式

LlmManager(const std::string &llmConfigPath, mindie_llm::GetRequestsCallback getRequest,
        mindie_llm::SendResponsesCallback sendResponse, mindie_llm::ControlSignalCallback controlCallback,
        mindie_llm::LlmManagerStatsCallback statusCallback,
        mindie_llm::SendStatusResponseCallback statusResponseCallback,
std::map<std::string, std::string> ipInfo = std::map<std::string, std::string>())

接口参数

函数中Callback定义的五个函数指针类型，以及如下参数

参数

是否必选

说明

取值要求

ipInfo

是

将PD场景模型初始化需要的节点身份信息相关参数传递给模型。

std::map<std::string, std::string>

llmConfigPath

是

将llmmanager需要的配置路径传递给llmmanager的构造函数。

const std::string

使用样例

构造一个LlmManager实例。

1
2
3
4
5
6
7
8
mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);

返回值

LlmManager对象。

父主题： LlmManager