init接口

接口功能

LlmManager的初始化接口。

C++函数原型

Status Init(uint32_t modelInstanceId, std::set<size_t> npuDeviceIds)

Python函数

init(model_instance_id, npu_device_ids)

接口参数

使用样例

传入模型实例ID和使用的NPU编号，对LLM Manager初始化。

1
2
3

model_instance_id = 0
npu_device_ids = set([0,1,2,3])
llm_manager.init(model_instance_id, npu_device_ids)

返回值

Status对象。