动态状态采集v2接口

接口功能

采集动态状态。

接口格式

操作类型:GET

URLhttps://{ip}:{port}/v2/status

  • {ip}字段优先读取环境变量值MIES_CONTAINER_MANAGEMENT_IP;如果没有该环境变量,则取配置文件的“managementIpAddress”参数;如果配置文件中没有“managementIpAddress”参数,则取配置文件的“ipAddress”参数。
  • {port}字段优先读取配置文件的“managementPort”参数;如果配置文件中没有“managementPort”参数,则取配置文件的“port”参数。

请求参数

使用样例

请求样例:

GET https://{ip}:{port}/v2/status
响应样例:
{
    "service": {
        "roleStatus": "RoleUnknown",
        "currentRole": "prefill"
    },
    "resource": {
        "totalAvailNpuSlotsNum": 100, 
        "totalAvailNpuBlockNum": 400, 
        "maxAvailNpuBlockNum": 100, 
    },
    "linkStatus": { 
         "peers": [ 
             { 
                 "target": 20000,)
                 "link": "ok" 
            }, 
             { 
                 "target": 20001,
                 "link": "ok" 
             } 
         ] 
     } 
 }

输出说明

参数

是否必选

类型

描述

service

必选

结构体

service相关属性。

service.roleStatus

必选

字符串

表示当前服务的身份切换状态,可选值包括:

  • RoleUnknown
  • RoleSwitching
  • RoleReady

如果是PD混部场景,该状态一直为RoleReady。

service.currentRole

必选

字符串

当前实例的身份,可选值包括:

  • prefill
  • decode
  • none

如果是PD混部场景,该值一直为none。

在PD分离场景下,如果roleStatus进入RoleReady状态,则该值为prefill或decode,如果roleStatus不是RoleReady状态,则该值为none。

resource

必选

结构体

当前剩余资源情况。

resource.totalAvailNpuSlotsNum

必选

整型

所有DP组可用的Slot数量。

resource.totalAvailNpuBlockNum

必选

整型

所有DP组可用的Block数量。

resource.maxAvailNpuBlockNum

必选

整型

所有DP组中可用Block数量最多的组Block数量。

peers

可选

字符串数组

数组成员为IP地址,表示已经成功建连的P实例。

  • PD混部场景,或PD分离场景下的P实例不需要返回该字段。
  • PD分离场景下的D实例需要返回该字段。
  • D实例每成功连接一个P后,就向这里增加一个成员。在目标P没有发生变化的情况下,如果跟某个P发生了pull kv失败且不可恢复的情况,就把该P从这里删掉。

linkStatus.peers

必选

结构体数组

当前Prefill/Decode节点的对端节点的连接状态。

linkStatus.peers[].target

必选

整型

实例ID。

linkStatus.peers[].status

必选

字符串

对端实例的链接状态,某一个对端节点下的所有DP组的链接状态都成功时,该对端节点的状态才设置为ok。