Initialize

Atlas 350 加速卡

x

Atlas A3 训练系列产品/Atlas A3 推理系列产品

√

Atlas A2 训练系列产品/Atlas A2 推理系列产品

√

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

options

输入

初始化参数值。具体请参考表1。

OPTION_LISTEN_IP_INFO

可选

配置当前option表示LLM-DataDist是Server，不配置表示Client。

当LLM-DataDist是Server时，需配置Host侧的IP地址和端口。

配置示例：如"192.168.1.1:26000"，不支持传入多个IP地址和端口。

OPTION_DEVICE_ID

必选

设置当前进程的Device ID，如"0"，不支持单进程多卡场景。

OPTION_SYNC_CACHE_WAIT_TIME

可选

kv相关操作的超时时间，单位：ms。不配置默认为1000ms。相关接口如下。

• PullKvCache
• PullKvBlocks
• PushKvCache
• PushKvBlocks

OPTION_LOCAL_COMM_RES

可选

配置本地通信资源信息，格式是json格式的字符串。

配置方法如下：

仅需配置ranktable中当前llm datadist所使用Device信息，无需配置ranktable中的server_count和rank_id字段，ranktable具体信息请参见《HCCL集合通信库用户指南》。该option可以不配置或配置为空串，为空将自动生成相关信息。该方法适用于如下型号：

• Atlas A2 训练系列产品/Atlas A2 推理系列产品
• Atlas A3 训练系列产品/Atlas A3 推理系列产品

OPTION_TRANSFER_BACKEND

可选

配置LLM-DataDist使用的传输后端引擎，当前支持配置的后端为“hixl”。

hixl传输后端使用方法如下：

• 初始化option需指定OPTION_LISTEN_IP_INFO：当配置使用hixl传输后端时，每个传输端既可作为client也可以作为server。
• 与对端发起传输前需要调用LinkLlmClusters发起建链。