aclnnMatmulAllReduceV2

支持的产品型号

Atlas A2训练系列产品/Atlas 800I A2推理产品。

说明： 使用该接口时，请确保驱动固件包和CANN包都为配套的8.0.RC2版本或者配套的更高版本，否则将会引发报错，比如BUS ERROR等。

接口原型

每个算子分为两段式接口，必须先调用“aclnnMatmulAllReduceV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMatmulAllReduceV2”接口执行计算。

aclnnStatus aclnnMatmulAllReduceV2GetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *bias, const aclTensor *x3, const char* group, const char *reduceOp, int64_t commTurn, int64_t streamMode, const aclTensor *output, uint64_t *workspaceSize, aclOpExecutor **executor);
aclnnStatus aclnnMatmulAllReduceV2(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream);

功能描述

算子功能：完成mm + all_reduce_base计算。
计算公式： $output = allreduce(x1 @ x2 + bias + x3)$

aclnnMatmulAllReduceV2GetWorkspaceSize

参数说明：
- x1(const aclTensor *, 计算输入)：Device侧的2维或3维aclTensor，mm左矩阵。数据类型支持：FLOAT16、BFLOAT16。数据格式支持：ND。不支持非连续输入。
- x2(const aclTensor *, 计算输入)：Device侧的2维aclTensor，mm右矩阵。数据类型支持：FLOAT16、BFLOAT16。支持最后两轴转置情况下的非连续tensor传入，数据格式支持：ND。x1的第二维和x2的第一维维度相等，或x2最后两轴转置后，对应维度相等。非连续的Tensor仅支持transpose场景。
- bias(const aclTensor *, 计算输入)：bias。数据类型支持：FLOAT16、BFLOAT16。数据格式支持：ND，可选，可为空。非空时shape最后一维和x2最后一维相等
- x3(const aclTensor *, 计算输入)：x3，可选，matmul计算后的偏移。数据类型支持：FLOAT16、BFLOAT16。数据格式支持：ND，必选，shape与matmul计算后的shape相同。
- group(const char *, 计算输入)：通信域名称。数据类型支持：String。通过Hccl提供的接口获取：extern HcclResult HcclGetCommName(HcclComm comm, char* commName); commName即为group。
- reduceOp(const char *, 计算输入)：reduce操作类型。数据类型支持：String。目前仅支持"sum"。
- commTurn(int64_t, 计算输入)：通信数据切分数，即总数据量/单次通信量。数据类型支持：int64_t。当前版本仅支持输入0。
- streamMode(int64_t，计算输入)：Host侧的整型，acl流模式的枚举，当前只支持枚举值1，类型支持：int64_t。
- output(aclTensor *, 输出)：计算+通信的结果。数据类型支持FLOAT16、BFLOAT16, 且数据类型同x1、x2输入。shape第一维与x1第一维相等，最后一维和x2最后一维相等
- workspaceSize(uint64_t *, 出参)：返回需要在Device侧申请的workspace大小。
- executor(aclOpExecutor **, 出参)：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见undefined。

aclnnMatmulAllReduceV2

参数说明：
- workspace（void*，入参）：在Device侧申请的workspace内存地址。
- workspaceSize（uint64_t,入参）：在Device侧申请的workspace大小，由第一段接口aclnnMatmulAllReduceV2GetWorkspaceSize。
- executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
- stream（const aclrtStream，入参）：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见undefined。

约束与限制

增量场景不使能MC2，全量场景使能MC2
输入x1可为2维或者3维，且不为空Tensor，其维度为(b, s, k)或者(m, k)。x2必须是2维，且不为空Tensor。其维度为(k, n)，轴满足mm算子入参要求，k轴相等。bias若非空，bias为1维。
在Atlas A2训练系列产品/Atlas 800I A2推理产品上，b*s、m、k、n的值均不得超过2147483647(INT32_MAX)。
x3以及输出output除最后一维皆与输入x1除最后一维相等，x3以及输出output的最后1维与输入x2的最后1维相等。bias若非空，shape大小与output最后一维相等。
传入的x1、x2、x3或者output不为空指针。
x1和x2、x3、output、bias（非空场景）的数据类型和数据格式需要在支持的范围之内。
只支持x2矩阵转置/不转置，x1矩阵支持不转置场景。
Atlas A2训练系列产品/Atlas 800I A2推理产品支持1、2、4、8卡，并且仅支持hccs链路all mesh组网。
一个模型中的通算融合MC2算子，仅支持相同通信域。

调用示例

[object Object]