LlmManager接口

接口功能

默认构造函数。

C++函数原型

LlmManager(const std::string &llmConfigPath, MindIE_LLM::GetRequestsCallback getRequest,
        MindIE_LLM::SendResponsesCallback sendResponse, MindIE_LLM::ControlSignalCallback controlCallback,
        MindIE_LLM::LlmManagerStatsCallback statusCallback,
        MindIE_LLM::SendStatusResponseCallback statusResponseCallback)

Python函数

LlmManager(config_path, get_request, send_response, control_callback, status_callback, status_response_callback)

接口参数

参数

是否必选

说明

取值要求

config_path

是

config路径。

合法的config路径,字符类型参数。

get_request

是

GetRequests回调函数。

Callable[[], List['InferRequest']]输出为InferRequest类型的列表。

send_response

是

SendResponses回调函数。

Callable[[InferRequestId, TensorMap, bool, str], None]

输入依次为InferRequestId类型，TensorMap类型，bool类型，字符类型；无输出。

control_callback

是

ControlSignal回调函数。

Callable[[InferRequestId, Status, int], None]

输入依次为InferRequestId类型，字符类型，Status类型，StatusResponseType类型；无输出。

status_callback

是

LlmManagerStats回调函数。

Callable[[], Set[InferRequestId]]

无输入；输出为InferRequestId的集合。

status_response_callback

是

SendStatusResponse回调函数。

Callable[[str], None]

输入为字符类型；无输出。

使用样例

LlmManager初始化构造函数，传入配置文件路径与回调函数。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
config_path = '/path/to/config.json'
def get_requests_callback():
    ...
    pass
def send_response_callback():
    ...
    pass
def control_callback():
    ...
    pass
def status_callback():
    ...
    pass
def status_response_callback():
    ...
    pass

llm_manager = LlmManager(config_path, get_requests_callback, send_response_callback, control_callback, status_callback, status_response_callback)
父主题： LlmManager