aclnnBatchMatMulReduceScatterAlltoAll

产品支持情况

[object Object]undefined

功能说明

• 接口功能：BatchMatMulReduceScatterAllToAll是通算融合算子，实现BatchMatMul计算与ReduceScatter、AllToAll集合通信并行的算子。

• 计算公式：大体计算流程为：BatchMatMul计算-->转置（yShardType等于0时需要）-->ReduceScatter集合通信-->Add-->AllToAll集合通信。计算逻辑如下，其中y为输出

$$temp1 = BatchMatMul(x，weight)$$ $$temp2 = ReduceScatter(temp1)$$ $$temp3 = Add(temp2, bias)$$ $$y = AllToAll(temp3)$$

函数原型

每个算子分为，必须先调用“aclnnBatchMatMulReduceScatterAlltoAllGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnBatchMatMulReduceScatterAlltoAll”接口执行计算。

aclnnBatchMatMulReduceScatterAlltoAllGetWorkspaceSize

• 参数说明

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnBatchMatMulReduceScatterAlltoAll

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算：
  • aclnnBatchMatMulReduceScatterAlltoAll默认确定性实现。

因为集合通信及BatchMatMul计算所需，输入输出shape需满足以下数学关系：（其中ep=epWorldSize，tp=tpWorldSize）

• 按H轴进行ReduceScatter场景，即yShardType为0场景：

  • x: (E/ep, ep*C, M/tp)
  • weight：(E/ep, M/tp, H)
  • biasOptional：非空指针情况下，三维时为(E/ep, 1, H/tp)，两维时为(E/ep, H/tp)
  • y：(E, C, H/tp)

• 按C轴进行ReduceScatter场景，即yShardType为1场景：

  • x: (E/ep, ep*tp*C/tp, M/tp)
  • weight：(E/ep, M/tp, H)
  • biasOptional：非空指针情况下，三维时为(E/ep, 1, H)，两维时为(E/ep, H)
  • y：(E, C/tp, H)

• 数据关系说明：

  • 比如x.size(0)等于E/tp，y.size(0)等于E，则表示，y.size(0) = ep*x.size(0)，y.size(0)是ep的整数倍；其他关系类似。
  • E的取值范围为[2, 512]，且E是ep的整数倍。
  • H的取值范围为：[1, 65535]，当yShardType为0时，H是tp的整数倍。
  • M/tp的取值范围为：[1, 65535]。
  • E/ep的取值范围为：[1, 32]。
  • ep、tp均仅支持2、4、8、16、32。
  • groupEp和groupTp名称不能相同。
  • C大于0，上限为算子device内存上限，当yShardType为1时，C是tp的整数倍。
  • 通算融合算子不支持并发调用，不同的通算融合算子也不支持并发调用。
  • 不支持跨超节点，只支持超节点内。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：