link_clusters
产品支持情况
产品 |
是否支持 |
|---|---|
√ |
|
√ |
|
x |
|
x |
|
x |
|
x |
函数功能
单边建链，由Client单侧发起建链。是Client还是Server与角色prompt或者decoder无关。设置listen_ip_info标识端口监听，即为Server端。
函数原型
1 | link_clusters(clusters: Union[List[LLMClusterInfo], Tuple[LLMClusterInfo]], timeout=3000) |
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
clusters |
Union[List[LLMClusterInfo], Tuple[LLMClusterInfo]] |
集群列表。 |
timeout |
int |
超时时间，单位：ms，默认超时时间3000ms。 |
返回值
正常情况下返回两个值的元组，第一个值是接口的返回值，类型是LLMStatusCode，第二个是每个集群建链结果的列表，类型是LLMStatusCode。
参数错误可能抛出TypeError或ValueError。
约束说明
- 建链的要求如下。建链数量过多存在内存OOM及KV Cache传输的性能风险。
- 允许创建的最大通信数量=512。
- 建议超时时间配置200ms以上。
- 调用该接口前需提前注册所有内存，否则建链后注册不支持远端访问。
- 容器场景若未配置local_comm_res或配置为空，需在容器内映射/etc/hccn.conf文件
- 如果并发建链，建链使用的某个卡是down的状态，可能导致某些链路建链超时，如果需要非down状态的卡建链成功，则需要对所有涉及建链的卡配置命令：hccn_tool -i ${device_id} -tls -s enable 1
父主题： LLMDataDist