LlmManager接口

接口功能

默认构造函数。

C++函数原型

LlmManager(const std::string &llmConfigPath, MindIE_LLM::GetRequestsCallback getRequest,
        MindIE_LLM::SendResponsesCallback sendResponse, MindIE_LLM::ControlSignalCallback controlCallback,
        MindIE_LLM::LlmManagerStatsCallback statusCallback,
        MindIE_LLM::SendStatusResponseCallback statusResponseCallback)

Python函数

LlmManager(config_path, get_request, send_response, control_callback, status_callback, status_response_callback)

接口参数

参数	是否必选	说明	取值要求
config_path	是	config路径。	合法的config路径,字符类型参数。
get_request	是	GetRequests回调函数。	Callable[[], List['InferRequest']]输出为InferRequest类型的列表。
send_response	是	SendResponses回调函数。	Callable[[InferRequestId, TensorMap, bool, str], None] 输入依次为InferRequestId类型，TensorMap类型，bool类型，字符类型；无输出。
control_callback	是	ControlSignal回调函数。	Callable[[InferRequestId, Status, int], None] 输入依次为InferRequestId类型，字符类型，Status类型，StatusResponseType类型；无输出。
status_callback	是	LlmManagerStats回调函数。	Callable[[], Set[InferRequestId]] 无输入；输出为InferRequestId的集合。
status_response_callback	是	SendStatusResponse回调函数。	Callable[[str], None] 输入为字符类型；无输出。

使用样例

LlmManager初始化构造函数，传入配置文件路径与回调函数。

config_path = '/path/to/config.json'
def get_requests_callback():
    ...
    pass
def send_response_callback():
    ...
    pass
def control_callback():
    ...
    pass
def status_callback():
    ...
    pass
def status_response_callback():
    ...
    pass

llm_manager = LlmManager(config_path, get_requests_callback, send_response_callback, control_callback, status_callback, status_response_callback)

父主题： LlmManager