Initialize

Atlas 350 加速卡

x

Atlas A3 训练系列产品 / Atlas A3 推理系列产品

√

Atlas A2 训练系列产品 / Atlas A2 推理系列产品

√

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

local_engine

输入

HIXL标识，在所有参与建链的范围内需要确保唯一。

• 如果是ipv4，格式为host_ip:host_port或host_ip。
• 如果是ipv6，格式为[host_ip]:host_port或[host_ip]。

不建议配置为回环IP，在多个HIXL交互场景，回环IP容易冲突。

当设置host_port且host_port>0时代表当前HIXL作为Server端，需要对配置端口进行侦听。如果没设置host_port或者host_port<=0代表是Client，不启动侦听。

options

输入

初始化参数值。具体请参考如下表格。

OPTION_BUFFER_POOL

可选

字符串取值"BufferPool"。

在需要使用中转buffer进行传输的场景下:

• 不支持使用HCCS协议进行Host To Host直传传输时。
• RDMA注册Host内存大小受限时。
• 多个小块内存传输(例如128K)需要使用中转传输提升性能时。

可使用此option配置中转内存池的大小，取值格式为"$BUFFER_NUM:$BUFFER_SIZE"，系统默认配置为"4:8(单位MB)"。可以通过配置为"0:0"来关闭中转内存池，在有并发的场景下建议增大$BUFFER_NUM个数。另外，所有使用该配置项的的地方需要配置相同的值，中转传输模式的限制请参考TransferSync接口。

Atlas A3 训练系列产品 / Atlas A3 推理系列产品 场景下，该参数不支持和“OPTION_ENABLE_USE_FABRIC_MEM”同时配置。

说明：如果未配置该参数，则存在如下约束。

• Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ：针对 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，仅支持Atlas 800I A2 推理服务器、Atlas 300I A2 推理卡、A200I A2 Box 异构组件。该场景下Server内采用HCCS传输协议时，仅支持D2D。
• Atlas A3 训练系列产品 / Atlas A3 推理系列产品 ，该场景下采用HCCS传输协议时，不支持Host内存作为远端Cache。

OPTION_RDMA_TRAFFIC_CLASS

可选

字符串取值"RdmaTrafficClass"。

用于配置RDMA网卡的traffic class。和环境变量HCCL_RDMA_TC功能，如同时配置，当前option优先级更高；未同时配置，以配置的一方为准。

取值范围为[0,255]，且需要配置为4的整数倍，默认值为132。

更多信息请参考《环境变量参考》。

OPTION_RDMA_SERVICE_LEVEL

可选

字符串取值"RdmaServiceLevel"。

用于配置RDMA网卡的service level。和环境变量HCCL_RDMA_SL功能相同，如同时配置，当前option优先级更高；未同时配置，以配置的一方为准。

取值范围为[0, 7]，默认值为4。

更多信息请参考《环境变量参考》。

OPTION_GLOBAL_RESOURCE_CONFIG

可选

字符串取值"GlobalResourceConfig"，用于开启并配置全局资源配置。

对于Fabric Mem模式（仅 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 支持），该参数配置示例如下：

{
    "fabric_memory.max_capacity": "128", //虚拟内存池的大小。取值范围：(0, 1024]之间的整数，默认值：64，单位TB.
    "fabric_memory.task_stream_num": "1", //配置Fabric Mem模式下单个任务使用的流数量。取值范围：[1, 8]之间的整数，默认值：4.
}

对于链路池机制，该参数配置示例如下：

{
    "channel_pool.max_channel": "10", //最大的链路个数。取值范围：(0, 512]之间的整数，默认值：512
    "channel_pool.high_waterline": "0.3", //触发链路销毁的高水位，取值范围：（0，1）之间的小数，需要和channel_pool.low_waterline同时配置
    "channel_pool.low_waterline": "0.1" //触发链路销毁的低水位，取值范围：（0，1）之间小数，并且小于高水位
}

链路池工作时，实际依据链路个数判断是否进行销毁，如果当前链路个数已经达到高水位对应的链路个数，则选择（当前链路个数-低水位对应的链路个数 ）条链路进行销毁（如存在正在传输的任务，则不会销毁），再建链。相关参数计算公式如下：

• 高水位线对应的链路个数=max(1,static_cast<int32_t> (channel_pool.max_channel * channel_pool.high_waterline))
• 低水位线对应的链路个数=max(1,static_cast<int32_t> (channel_pool.max_channel * channel_pool.low_waterline))

在上述配置示例中，按照计算公式，高水位对应的链路个数=3，低水位对应的链路个数=1。每次建链前会检查当前HIXL内的链路是否达到3，如果已经达到，选择(当前链路个数-1 )条链路进行销毁（如存在正在传输的任务，则不会销毁），再建链。

当启用链路池机制时，有如下注意事项：

• 集群内的所有Hixl Engine都需要配置OPTION_GLOBAL_RESOURCE_CONFIG。
• 当调用TransferSync或TransferAsync接口时，若不存在相关链路，将执行建链操作。
• 会增加传输和建链的额外开销，可能导致性能下降。

OPTION_ENABLE_USE_FABRIC_MEM

可选

字符串取值"EnableUseFabricMem"。

• 0：不开启Fabric Mem模式
• 1：开启Fabric Mem模式

此option适用于需要使用HCCS进行D2RH、RH2D传输的场景。

说明：集群场景下，该参数在所有节点需要配置为相同的值。该参数不支持和“OPTION_BUFFER_POOL”同时配置。

仅支持 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 。

OPTION_AUTO_CONNECT

可选

字符串取值“AutoConnect”。

• 0：不开启Auto Connect模式
• 1：开启Auto Connect模式

说明：

• 开启该选项后，可跳过建链，直接进行传输。
• 开启该选项后，传输发生异常或对端销毁后自动清理异常链路（对端销毁需要心跳机制来检测，心跳间隔默认10s）。

OPTION_LOCAL_COMM_RES

可选

配置本地通信资源信息，格式是json格式的字符串。

配置方法如下：

仅需配置ranktable中当前llm datadist所使用Device信息，无需配置ranktable中的server_count和rank_id字段，ranktable具体信息请参见《HCCL集合通信库用户指南》。该option可以不配置或配置为空串，为空将自动生成相关信息。