Initialize

Atlas A3 训练系列产品/Atlas A3 推理系列产品

√

Atlas A2 推理系列产品

√

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

options

输入

初始化参数值。具体请参考表1。

OPTION_LISTEN_IP_INFO

可选

配置当前option表示LLM-DataDist是Server，不配置表示Client。

当LLM-DataDist是Server时，需配置Host侧的IP地址和端口。

配置示例：如"192.168.1.1:26000"，不支持传入多个IP地址和端口。

OPTION_DEVICE_ID

必选

设置当前进程的Device ID，如"0"，不支持单进程多卡场景。

OPTION_SYNC_CACHE_WAIT_TIME

可选

kv相关操作的超时时间，单位：ms。不配置默认为1000ms。相关接口如下。

• PullKvCache
• PullKvBlocks
• PushKvCache
• PushKvBlocks

OPTION_LOCAL_COMM_RES

可选

配置本地通信资源信息，格式是json格式的字符串。仅需配置ranktable中当前llm datadist所使用Device信息，无需配置ranktable中的server_count和rank_id字段，ranktable具体信息请参见《HCCL集合通信库用户指南》中的“通信功能开发 > 集群信息配置 > rank table文件配置资源信息”章节。