aclnnQuantMatmulAllReduce
产品支持情况
说明: 使用该接口时,请确保驱动固件包和CANN包都为配套的8.0.RC2版本或者配套的更高版本,否则将会引发报错,比如BUS ERROR等。
功能说明
- 接口功能:对量化后的入参x1、x2进行MatMul计算后,接着进行Dequant计算,接着与x3进行Add操作,最后做AllReduce计算。 支持per tensor、per channel量化方式。
- 计算公式:
函数原型
每个算子分为,必须先调用“aclnnQuantMatmulAllReduceGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnQuantMatmulAllReduce”接口执行计算。
aclnnQuantMatmulAllReduceGetWorkspaceSize
参数说明:
[object Object]- [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:x2输入的数据格式支持ND(当前版本仅支持二维输入)和FRACTAL_NZ格式(当前版本仅支持四维输入)。当x2的数据格式为FRACTAL_NZ时,配合aclnnCalculateMatmulWeightSizeV2和aclnnTransMatmulWeight完成数据格式ND到数据格式NZ的转换,非连续的tensor仅支持transpose场景。
返回值:
第一段接口完成入参校验,出现以下场景时报错:
[object Object]
aclnnQuantMatmulAllReduce
约束说明
确定性计算:
- aclnnQuantMatmulAllReduce默认非确定性实现,支持通过aclrtCtxSetSysParamOpt开启确定性。
增量场景不使能MC2,全量场景使能MC2。
输入x1可为二维或者三维,其shape为(b, s, k)或者(m, k)。x2必须是二维。其shape为(k, n),k轴满足mm算子入参要求,k轴相等。不支持x1、x2为空矩阵。
m大小不超过2147483647,x1与x2的最后一维大小不超过65535,x1的最后一维指k,x2的最后一维指转置时的k或非转置时的n。bias若非空,shape为(n)。x3若非空,shape与output相同。
当输入x1的shape为(b, s, k)时,输出output的shape为(b, s, n),当输入x1的shape为(m, k)时,输出output的shape为(m, n)。
传入的x1、x2、dequantScale或者output不为空指针。
x1和x2、dequantScale、output、bias(非空场景)、x3(非空场景)的数据类型和数据格式需要在支持的范围之内。
若输出output类型为FLOAT16,dequantScale的类型为INT64、UINT64;若输出output类型为BFLOAT16,dequantScale的类型为BFLOAT16,x3的类型为BFLOAT16。
仅支持hccs链路all mesh组网。
- [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:支持1、2、4、8卡。
[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:一个模型中的通算融合MC2算子,仅支持相同通信域。
调用示例
[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:
[object Object]