AllGatherOperation

功能

将多个通信卡上的数据按所属rank号的顺序在第一维进行聚合，然后发送到每张卡上。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《CANN 环境变量参考》中的“集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的《HCCN Tool 接口参考》。

约束

rank、rankSize、rankRoot需满足以下条件。

0 ≤ rank < rankSize
0 ≤ rankRoot < rankSize

多用户使用时需要使用ATB_SHARE_MEMORY_NAME_SUFFIX环境变量（请参见Transformer加速库环境变量说明）进行共享内存的区分，以进行初始化信息同步。
当使用加速库的通信算子异常退出时，需要清空残留数据，避免影响之后的使用，命令参考如下：
```
rm -rf /dev/shm/sem.lccl*
rm -rf /dev/shm/sem.hccl*
ipcrm -a
```

定义

struct AllGatherParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    std::string backend = "hccl";
    HcclComm hcclComm = nullptr;
    CommMode commMode = COMM_MULTI_PROCESS;
    std::string rankTableFile;
    std::string commDomain;
};

成员

成员名称	描述
rank	每张卡所属通信编号。
rankSize	通信的卡的数量。
rankRoot	主通信编号。
backend	通信后端指示，仅支持“hccl”和“lccl”。 Atlas 推理系列产品仅支持“backend”为“hccl”。 Atlas 推理系列产品不支持bf16。当“backend”为“lccl”时，且若机器拓扑为Atlas 800I A2推理产品单机16卡拓扑场景下，仅支持16卡全量拓扑通信或单节点内任意卡通信。
hcclComm	HCCL通信域指针。默认为空，加速库为用户创建；若用户想要自己管理通信域，则需要传入该通信域指针，加速库使用传入的通信域指针来执行通信算子。
commMode	通信模式，CommMode类型枚举值。hccl多线程只支持外部传入通信域方式。
rankTableFile	集群信息的配置文件路径，适用单机以及多机通信场景，当前仅支持hccl后端场景。若单机配置了rankTable，则以ranktable来初始化通信域。配置请参见。
commDomain	通信Device组用通信域名标识，多通信域时使用，当前仅支持“hccl”。

输入

参数	维度	数据类型	格式	描述
x	[-1,…,-1] -1表示当前维度的大小没有约束。	"hccl"：float16/float/int8/int16/int32/int64/bf16 "lccl"：float16/float/int8/int16/int32/int64/bf16	ND	输入Tensor，维度小于8。

参数

维度

数据类型

格式

描述

[-1,…,-1]

-1表示当前维度的大小没有约束。

"hccl"：float16/float/int8/int16/int32/int64/bf16
"lccl"：float16/float/int8/int16/int32/int64/bf16

输入Tensor，维度小于8。

输出

参数	维度	数据类型	格式	描述
output	[rankSize, -1,…,-1] -1表示当前维度的大小没有约束。	"hccl"：float16/float/int8/int16/int32/int64/bf16 "lccl"： float16/float/int8/int16/int32/int64/bf16	ND	输出Tensor，维度小于或等于8。输出output的维数比输入x的维数多一维。

参数

维度

数据类型

格式

描述

output

[rankSize, -1,…,-1]

-1表示当前维度的大小没有约束。

"hccl"：float16/float/int8/int16/int32/int64/bf16
"lccl"： float16/float/int8/int16/int32/int64/bf16

输出Tensor，维度小于或等于8。

输出output的维数比输入x的维数多一维。

父主题： atb/infer_op_params.h