---
title: 服务指标接口（JSON格式）
description: "获取推理服务过程中请求的TTFT、TBT的动态平均值（默认近1000个请求的平均值），正在执行请求数、正在等待请求数量、剩余NPUblock数量。"
url: https://www.hiascend.com/document/detail/zh/mindie/latest/mindiellm/llmdev/mindie_llm0051.html
sourcePath: /source/zh/mindie/310/mindiellm/llmdev/mindie_llm0052.html
indexId: fc81e8b6ad3fe46850fc29ac4835811a75ccca691bf7eccb8ac68d3c0b6821d158
---
# 服务指标接口（JSON格式）

#### 接口功能

获取推理服务过程中请求的TTFT、TBT的动态平均值（默认近1000个请求的平均值），正在执行请求数、正在等待请求数量、剩余NPUblock数量。


#### 接口格式

操作类型：GET

URL：https://{ip}:{port}/metrics-json

- {ip}字段优先读取环境变量值MIES_CONTAINER_MANAGEMENT_IP；如果没有该环境变量，则取配置文件的“managementIpAddress”参数；如果配置文件中没有“managementIpAddress”参数，则取配置文件的“ipAddress”参数。
- {port}字段优先读取配置文件的“managementPort”参数；如果配置文件中没有“managementPort”参数，则取配置文件的“port”参数。


#### 请求参数

无


#### 使用样例

请求样例：

```
GET https://
{ip}:{port}
/metrics-json
```

响应样例：

```
{
"resultType": "vector",
"result": [
{
"metric": [
{
"__name__": "TTFT",
"job": "node",
"instance": "127.0.0.2:1026"
}
],
"value": "0"
},
{
"metric": [
{
"__name__": "TBT",
"job": "node",
"instance": "127.0.0.2:1026"
}
],
"value": "0"
},
{
"metric": [
{
"__name__": "waitingInferRequestNum",
"job": "node",
"instance": "127.0.0.2:1026"
}
],
"value": "0"
},
{
"metric": [
{
"__name__": "processingInferRequestNum",
"job": "node",
"instance": "127.0.0.2:1026"
}
],
"value": "0"
},
{
"metric": [
{
"__name__": "remainBlocks",
"job": "node",
"instance": "127.0.0.2:1026"
}
],
"value": "1024"
}
]
}
```

响应状态码：200


#### 输出说明

| 返回值 | 返回值 | 返回值 | 类型 | 说明 |
| --- | --- | --- | --- | --- |
| resultType | resultType | resultType | string | 结果类型，默认为vector，包含查询结果的数组。 |
| result | result | result | list | 结果列表。 |
| \- | metric | metric | list | 五种服务指标结果。 TTFT：首token时延，单位为毫秒。 TBT：生成连续两个token之间的时间，单位为毫秒。 processingInferRequestNum：TBT正在执行请求数。 waitingInferRequestNum：正在等待请求数量。 remainBlocks：剩余NPUblock数量。 |
| \- | \- | \_\_name\_\_ | string | 服务指标的名称。 |
| \- | \- | job | string | 服务指标作业名称。 |
| \- | \- | instance | string | 服务指标实例地址。 |
| \- | value | value | string | 服务指标结果具体值。 |