AllToAllVOperation

功能

向通信域内所有通信卡发送数据（数据量可以定制），并从所有通信卡接收数据。

算子上下文

图1 通信INT8量化中AllToAll的位置

模型传输一个int8的量化输入tensor数据X,首先使用AlltoAll进行通信发送到各个节点上（这里使用int8进行通信，提升了通信速度）

然后使用reduce的sum操作对x进行求和，将int8数据反量化为float16, 最后使用AllGather进行通信将计算结果传输到各个节点上。

算子功能实现描述

向通信域内所有通信卡发送数据（数据量可以通过参数定制），并从所有通信卡接收数据（数据量可以通过参数定制）。

• 示例
  图2 算子输入输出示例
  
• 计算过程python示意

  golden_result = []
  for j in range(rankSize):
      tensor_list = intensors[j].reshape(-1).tolist() # intensors[j]代表第j张卡上的intesor
      golden_result += tensor_list[sdispls[rank]:sdispls[rank]+sendCounts[rank]]
  size = sum(recvCounts)
  golden_out_tensor = torch.tensor(golden_result).reshape(1,size)

使用场景

用于将数据发送到各个节点上，多对多。对All-Gather的扩展，但不同的节点向某一节点收集到的数据是不同的。

图3 AllToAll和AllGather使用对比

应用于模型并行；模型并行里的矩阵转置；数据并行到模型并行的矩阵转置。

定义

struct AllToAllVParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    std::vector<int64_t> sendCounts;
    std::vector<int64_t> sdispls;
    std::vector<int64_t> recvCounts;
    std::vector<int64_t> rdispls;
    std::string backend = "hccl";
    HcclComm hcclComm = nullptr;
    CommMode commMode = COMM_MULTI_PROCESS;
    std::string rankTableFile;
    std::string commDomain;
};

参数列表

输入

输出

规格约束

• 数组参数sendCounts，recvCounts，sdispls，rdispls的长度等于ranksize，且数组中元素值都大于0。
• 当前只支持 Atlas 800I A2 推理产品 / Atlas A2 训练系列产品 。
• 各个通信卡的输入tensor维度相等。
• sendCounts，recvCounts数组元素之和不能溢出int64，且recvCounts的数组和要大于0。对于rdispls中的任一元素，recvCounts[i] + rdispls[i] 不能大于recvCountsSum（即output的最后一维），对于sdispls中的任一元素，sendCounts[i] + sdispls[i] 不能大于输入tensor的数据量。如输入tensor shape为[3, 4, 5]，数据量为3*4*5 = 60，在进行AllToAllV时会被视为shape为[60]的tensor进行计算。
• rank、rankSize、rankRoot需满足以下条件。
  • 0 ≤ rank < rankSize
  • 0 ≤ rankRoot < rankSize

• 多用户使用时需要使用ATB_SHARE_MEMORY_NAME_SUFFIX环境变量（请参见Transformer加速库环境变量说明）进行共享内存的区分，以进行初始化信息同步。
• 当使用加速库的通信算子异常退出时，需要清空残留数据，避免影响之后的使用，命令参考如下：

  rm -rf /dev/shm/sem.lccl*
  rm -rf /dev/shm/sem.hccl*
  ipcrm -a