AllReduceOperation

功能

将多个通信卡上的数据进行计算，支持相加、乘、取最大值取最小值四种计算，然后发送到每张卡上。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《环境变量参考》中“执行相关 > 集合通信与分布式训练 > 集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的。

约束

• rank、rankSize、rankRoot需满足以下条件。
  • 0 ≤ rank < rankSize
  • 0 ≤ rankRoot < rankSize
• 当backend为“hccl”时，allReduceType为“prod”时，不支持输入输出数据类型为int16和bf16。

• 当backend为“lccl”时，不支持数据类型int64。
• 多用户使用时需要使用ATB_SHARE_MEMORY_NAME_SUFFIX环境变量（请参见Transformer加速库环境变量说明）进行共享内存的区分，以进行初始化信息同步。

当使用加速库的通信算子异常退出时，需要清空残留数据，避免影响之后的使用，命令参考如下：

rm -rf /dev/shm/sem.lccl*
rm -rf /dev/shm/sem.hccl*
ipcrm -a

定义

struct AllReduceParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    std::string allReduceType = "sum";
    std::string backend = "hccl";
    HcclComm hcclComm = nullptr;
    CommMode commMode = COMM_MULTI_PROCESS;
    std::string rankTableFile;
};

成员

输入

输出