AllReduceOperation

功能

把不同的卡的数据相加或者平均。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《环境变量参考》中“执行相关 > 集合通信与分布式训练 > 集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的《HCCN Tool 接口参考》。

约束

rank、rankSize、rankRoot需满足以下条件。

• 0 ≤ rank < rankSize
• 0 ≤ rankRoot < rankSize

定义

struct AllReduceParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    std::string allReduceType = "sum";
    std::string backend = "hccl";
    HcclComm hcclComm = nullptr;
};

成员

输入

输出