transfer_backend

产品支持情况

说明：针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，仅支持Atlas 800I A2 推理服务器、Atlas 300I A2 推理卡、A200I A2 Box 异构组件。

函数功能

用于配置LLM-DataDist使用的传输后端。

函数原型

1

transfer_backend(transfer_backend)

参数说明

调用示例

1
2
3

from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.transfer_backend = "hixl"

返回值

正常情况下无返回值。

参数错误可能抛出TypeError或ValueError。

约束说明

• 初始化option需指定listen_ip_info，当配置使用hixl传输后端时，每个传输端既可作为Client也可以作为Server。
• 与对端发起传输前需要调用link_clusters发起建链。