check_link_status

产品支持情况

产品

是否支持

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

在KvCacheManager模式下,调用此接口可快速检测链路状态是否正常。

函数原型

1
check_link_status(remote_cluster_id: int)

参数说明

参数名称

数据类型

取值说明

remote_cluster_id

int

远程集群ID。

调用示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
from llm_datadist import LLMDataDist, LLMRole, LLMStatusCode, LLMClusterInfo
...
try:
    data_dist.check_link_status(remote_cluster_id=0)
except LLMException as ex:
    print(f"check_link_status exception:{ex.status_code}")
    raise ex
kv_cache_manager = data_dist.kv_cache_manager
...
kv_cache_manager.pull_cache(prompt_cache_key, local_kv_cache, batch_index=0)

返回值

正常情况下无返回值。

运行失败会抛出LLMException异常。

参数错误可能抛出TypeError或ValueError。

约束说明

调用失败如果异常错误码是不可恢复错误码,需重新建链。

调用失败时,需持续调用该接口直至成功,才能调用pull_cache、pull_blocks等接口。

如果和pull_cache、pull_blocks等接口并发,可能抛出LLMException异常,错误码为LLM_LINK_BUSY。

超时时间由llm.SyncKvCacheWaitTime配置项指定。