LlmManager的初始化接口。
Status Init(uint32_t modelInstanceId, std::set<size_t> npuDeviceIds)
init(model_instance_id, npu_device_ids)
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
model_instance_id |
是 |
模型实例Id。 |
满足C++中uint32范围的int类型。 |
npu_device_ids |
是 |
npu设备的ids。 |
合法的set类型。 |
传入模型实例ID和使用的NPU编号，对LLM Manager初始化。
1 2 3 | model_instance_id = 0 npu_device_ids = set([0,1,2,3]) llm_manager.init(model_instance_id, npu_device_ids) |
Status对象。