FetchLLMModelStatus

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

获取增量模型空闲的block数量。

函数原型

LLMModelStatus LLMEngine::FetchLLMModelStatus(uint64_t model_id)

参数说明

参数名	输入/输出	描述
model_id	输入	模型ID。

返回值

增量模型空闲的block数量

异常处理

无

约束说明

无

父主题： LLMEngine