采集动态状态。
操作类型:GET
URL:https://{ip}:{port}/v2/status
无
请求样例:
GET https://{ip}:{port}/v2/status
{ "service": { "roleStatus": "RoleUnknown", "currentRole": "prefill" }, "resource": { "totalAvailNpuSlotsNum": 100, "totalAvailNpuBlockNum": 400, "maxAvailNpuBlockNum": 100, }, "linkStatus": { "peers": [ { "target": 20000,) "link": "ok" }, { "target": 20001, "link": "ok" } ] } }
参数 |
是否必选 |
类型 |
描述 |
---|---|---|---|
service |
必选 |
结构体 |
service相关属性。 |
service.roleStatus |
必选 |
字符串 |
表示当前服务的身份切换状态,可选值包括:
如果是PD混部场景,该状态一直为RoleReady。 |
service.currentRole |
必选 |
字符串 |
当前实例的身份,可选值包括:
如果是PD混部场景,该值一直为none。 在PD分离场景下,如果roleStatus进入RoleReady状态,则该值为prefill或decode,如果roleStatus不是RoleReady状态,则该值为none。 |
resource |
必选 |
结构体 |
当前剩余资源情况。 |
resource.totalAvailNpuSlotsNum |
必选 |
整型 |
所有DP组可用的Slot数量。 |
resource.totalAvailNpuBlockNum |
必选 |
整型 |
所有DP组可用的Block数量。 |
resource.maxAvailNpuBlockNum |
必选 |
整型 |
所有DP组中可用Block数量最多的组Block数量。 |
peers |
可选 |
字符串数组 |
数组成员为IP地址,表示已经成功建连的P实例。
|
linkStatus.peers |
必选 |
结构体数组 |
当前Prefill/Decode节点的对端节点的连接状态。 |
linkStatus.peers[].target |
必选 |
整型 |
实例ID。 |
linkStatus.peers[].status |
必选 |
字符串 |
对端实例的链接状态,某一个对端节点下的所有DP组的链接状态都成功时,该对端节点的状态才设置为ok。 |