aclnnQuantMatmulAllReduce

支持的产品型号

Atlas A2训练系列产品。

接口原型

每个算子分为两段式接口，必须先调用“aclnnQuantMatmulAllReduceGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulAllReduce”接口执行计算。

aclnnStatus aclnnQuantMatmulAllReduceGetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *bias, const aclTensor *x3, const aclTensor *dequantScale, const char* group, const char *reduceOp, int64_t commTurn, int64_t streamMode, const aclTensor *output, uint64_t *workspaceSize, aclOpExecutor **executor);
aclnnStatus aclnnQuantMatmulAllReduce(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream);

功能描述

算子功能：对量化后的入参x1、x2进行matmul计算后，接着进行dequant计算，接着与x3进行add操作，最后做all_reduce计算。
计算公式： $output= allReduce(dequantScale*(x1_{int8}@x2_{int8} + bias_{int32}) + x3)$

aclnnQuantMatmulAllReduceGetWorkspaceSize

参数说明：
- x1(const aclTensor *, 计算输入)：npu device侧的aclTensor，mm左矩阵，维度可为2维或者3维。数据类型支持：INT8。数据格式支持：ND。不支持非连续输入。
- x2(const aclTensor *, 计算输入)：npu device侧的2维aclTensor，mm右矩阵。数据类型支持：INT8。数据格式支持：ND。非连续的Tensor仅支持transpose场景。
- bias(const aclTensor *, 计算输入)：bias。维度为1维。数据类型支持：INT32。数据格式支持：ND，可选，可为空。非空时shape和x2最后一维相等
- x3(const aclTensor *, 计算输入)：x3，matmul计算后的add计算。维度与output一致。数据类型支持：FLOAT16、BFLOAT16。数据格式支持：ND，可选，可为空。目前仅输出为BFLOAT16场景支持非空。
- dequantScale(const aclTensor *, 计算输入)：dequantScale，必选，matmul计算后的去量化系数。数据类型支持：INT64,UINT64,BFLOAT16。数据格式支持：ND。shape在per-tensor场景为[1]，per-channel场景为[n]/[1,n]。
- group(const char *, 计算输入)：通信域名称。数据类型支持：String。通过Hccl提供的接口获取：extern HcclResult HcclGetCommName(HcclComm comm, char* commName); commName即为group。
- reduceOp(const char *, 计算输入)：reduce操作类型。数据类型支持：String。目前仅支持"sum"。
- commTurn(int64_t, 计算输入)：通信数据切分数，即总数据量/单次通信量。数据类型支持：int64_t，当前版本仅支持输入为0。
- streamMode(int64_t，计算输入)：Host侧的整型，acl流模式的枚举，当前只支持枚举值1。
- output(aclTensor *, 输出)：计算+通信的结果。数据类型支持：FLOAT16、BFLOAT16。shape除最后一维与x1除最后一维相等，最后一维和x2最后一维相等。
- workspaceSize(uint64_t *, 出参)：返回需要在npu device侧申请的workspace大小。
- executor(aclOpExecutor **, 出参)：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见。

aclnnQuantMatmulAllReduce

参数说明：
- workspace（void*，入参）：在Device侧申请的workspace内存地址。
- workspaceSize（uint64_t,入参）：在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulAllReduceGetWorkspaceSize。
- executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
- stream（aclrtStream，入参）：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见。

约束与限制

增量场景不使能MC2，全量场景使能MC2
输入x1可为2维或者3维，且不为空Tensor，其维度为(b, s, k)或者(m, k)。x2必须是2维，且不为空Tensor。其维度为(k, n)，k轴满足mm算子入参要求，k轴相等。
输出output除最后一维皆与输入x1除最后一维相等，输出output的最后1维与输入x2的最后1维相等。bias若非空，shape大小与output最后一维相等。x3若非空，shape大小与output相等。
传入的x1、x2、dequantScale或者output不为空指针。
x1和x2、dequantScale、output、bias（非空场景）、x3（非空场景）的数据类型和数据格式需要在支持的范围之内。
若输出output类型为FLOAT16，dequantScale的类型为INT64、UINT64（输出类型为FLOAT16暂不支持x3）；若输出output类型为BFLOAT16，dequantScale的类型为BFLOAT16，x3的类型为BFLOAT16。
reduceOp的数据在可选范围内。目前仅支持"sum"。
streamMode的数据在可选范围内，目前仅支持1。
只支持x2矩阵转置/不转置，x1矩阵不支持转置场景。
Atlas A2训练系列产品支持2、4、8卡。

调用示例

[object Object]