AllGatherOperation

功能

把不同的卡的数据Concat起来。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《环境变量参考》中“执行相关 > 集合通信与分布式训练 > 集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的《HCCN Tool 接口参考》。

约束

rank、rankSize、rankRoot需满足以下条件。

• 0 ≤ rank < rankSize
• 0 ≤ rankRoot < rankSize

输出output的维度比输入x的维度多一维。

Atlas 推理系列产品（配置Ascend 310P AI处理器）不支持该算子。

定义

struct AllGatherParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    std::string backend = "hccl";
    HcclComm hcclComm = nullptr;
};

成员

输入

输出