FetchLLMEngineStatus

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

查询PagedAttention场景下的blocks数量。

函数原型

ge::LLMEngineStatus FetchLLMEngineStatus()
LLMEngineStatus{uint64_t empty_max_prompt_kv, int32_t num_free_blocks}

参数说明

无

返回值

LLM Engine状态。

异常处理

无

约束说明

仅增量PagedAttention场景下使用。

父主题： LLMEngine