用户可选择特定加载方式,加载推理模型。
1
Model(option: ModelLoadOptV2, deviceId: int)
参数名
类型
说明
option
ModelLoadOptV2数据类型
用户可通过参数选择模型输入方式,具体请参见ModelLoadOptV2类。
deviceId
int
模型部署的芯片ID,默认为0号芯片。(-1表示模型部署在Host侧,为保留字段,请勿使用。)
返回模型对象。