HcclCommConfig

hcclBufferSize

共享数据的缓存区大小，取值需大于等于1，单位为MByte。

配置项hcclBufferSize（通信域粒度配置）> 环境变量HCCL_BUFFSIZE（全局配置）> 默认值200。

hcclDeterministic

确定性计算开关。

• 0（默认值）：关闭
• 1：开启归约类通信算子的确定性计算，并关闭保序功能。
• 2：开启严格确定性计算，即保序功能（在确定性的基础上保证归约顺序一致），配置为该参数时需满足以下条件：
  • 仅支持通信算子为AllReduce和ReduceScatter。
  • 仅支持 Atlas A2 训练系列产品 的单机和多机对称分布场景，不支持多机单卡和非对称分布的场景。
  • 开启保序时，不支持饱和模式，仅支持INF/NaN模式。
  • 相较于确定性计算，开启保序功能后会产生一定的性能下降，建议在推理场景下使用该功能。

在不开启确定性计算的场景下，多次执行的结果可能不同。这个差异的来源，一般是因为在算子实现中存在异步的多线程执行，会导致浮点数累加的顺序变化。当开启确定性计算后，算子在相同的硬件和输入下，多次执行将产生相同的输出。

默认情况下，无需开启确定性计算或保序功能，但当发现模型执行多次结果不同或者精度调优时，可以开启确定性计算或保序功能辅助进行调试调优，但开启后，算子执行时间会变慢，导致性能下降。

配置项hcclDeterministic（通信域粒度配置）> 环境变量HCCL_DETERMINISTIC（全局配置）> 默认值0（关闭确定性计算）。

hcclCommName

通信域名称，最大长度为128。

指定的通信域名称需确保与其他通信域中的名称不重复；不指定时由HCCL自动生成。

-

hcclUdi

用户自定义信息，最大长度为128，默认为空。

-

hcclOpExpansionMode

配置通信算法的编排展开位置。

• 0（默认值）：代表使用默认算法编排展开位置，不同产品型号下的默认值详见环境变量HCCL_OP_EXPANSION_MODE。
• 1：代表通信算法的编排展开位置为Host侧CPU。

  针对 Atlas A3 训练系列产品/Atlas A3 推理系列产品 ，不建议使用此配置，否则存在不可预期行为。

• 2：代表通信算法的编排展开位置在Device侧的AI CPU计算单元，仅支持 Atlas A3 训练系列产品/Atlas A3 推理系列产品 。

  采用此配置时，在超节点内与超节点间支持全量通信算子。

  针对Reduce、ReduceScatter、AllReduce算子，数据类型仅支持int8、int16、int32、float16、float32、bfp16，且reduce的操作类型仅支持sum、max、min。其他通信算子支持的数据类型可参见集合通信接口参考。

  注意：采用AI CPU模式时，单卡上的并发通信域数量不能超过6个，否则可能会因AI CPU核被占满而导致通信阻塞。

• 3：代表通信算法的编排展开位置在Device侧的AI Vector Core计算单元。
  • 针对 Atlas A2 训练系列产品 ：
    • 仅支持如下产品的推理特性：

      Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16异构子框。

    • 该配置项支持的算子及数据类型请参见环境变量HCCL_OP_EXPANSION_MODE。
  • 针对 Atlas A3 训练系列产品 ：
    • 仅支持 Atlas A3 训练系列产品 的推理特性。
    • 该配置项支持的算子及数据类型请参见环境变量HCCL_OP_EXPANSION_MODE。
    • 针对AlltoAll、AlltoAllV、AlltoAllVC算子的超节点内多机通信，当任意两个rank之间的最大通信数据量不超过1M时，建议采用AIV模式；否则请采用AI_CPU模式。

需注意：

• 若hcclDeterministic配置为“1”（开启确定性计算），仅在单机单算子场景下，且数据量≤8MB时，支持AllReduce和ReduceScatter算子同时开启确定性计算和AIV，hcclOpExpansionMode可配置为“3”（AIV模式），其他场景和算子则hcclOpExpansionMode不支持配置为“3”（AIV模式），以确定性计算为准。
• 多通信域并行场景下，不支持多个通信域同时配置为“3”（AIV模式）。
• 若hcclDeterministic配置为“2”（保序功能），hcclOpExpansionMode不支持配置为“3”（AIV模式），以保序功能为准。

配置项hcclOpExpansionMode（通信域粒度配置）> 环境变量HCCL_OP_EXPANSION_MODE（全局配置）> 默认值0。

hcclRdmaTrafficClass

配置RDMA网卡的traffic class，取值范围为[0,255]，需要配置为4的整数倍。

在RoCE V2协议中，该值对应IP报文头中ToS（Type of Service）域段。共8个bit，其中，bit[0,1]固定为0，bit[2,7]为DSCP，因此，该值除以4即为DSCP的值。

配置项hcclRdmaTrafficClass（通信域粒度配置） > 环境变量HCCL_RDMA_TC（全局配置）> 默认值132。

hcclRdmaServiceLevel

配置RDMA网卡的service level，取值需要和网卡配置的PFC优先级保持一致，若配置不一致可能导致性能劣化。

需要配置为无符号整数，取值范围[0,7]。

配置项hcclRdmaServiceLevel（通信域粒度配置）> 环境变量HCCL_RDMA_SL（全局配置）> 默认值4。