昇腾社区首页
中文
注册
开发者
下载

aclnnQuantMatmulAllReduce

产品支持情况

[object Object]undefined

说明: 使用该接口时,请确保驱动固件包和CANN包都为配套的8.0.RC2版本或者配套的更高版本,否则将会引发报错,比如BUS ERROR等。

功能说明

  • 接口功能:对量化后的入参x1、x2进行MatMul计算后,接着进行Dequant计算,接着与x3进行Add操作,最后做AllReduce计算。 支持per tensor、per channel量化方式。
  • 计算公式output=AllReduce(dequantScale(x1int8@x2int8+biasint32)+x3)output= AllReduce(dequantScale*(x1_{int8}@x2_{int8} + bias_{int32}) + x3)

函数原型

每个算子分为,必须先调用“aclnnQuantMatmulAllReduceGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnQuantMatmulAllReduce”接口执行计算。

[object Object]
[object Object]

aclnnQuantMatmulAllReduceGetWorkspaceSize

  • 参数说明:

    [object Object]
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:x2输入的数据格式支持ND(当前版本仅支持二维输入)和FRACTAL_NZ格式(当前版本仅支持四维输入)。当x2的数据格式为FRACTAL_NZ时,配合aclnnCalculateMatmulWeightSizeV2和aclnnTransMatmulWeight完成数据格式ND到数据格式NZ的转换,非连续的tensor仅支持transpose场景。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

    第一段接口完成入参校验,出现以下场景时报错:

    [object Object]

aclnnQuantMatmulAllReduce

  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

约束说明

  • 确定性计算:

    • aclnnQuantMatmulAllReduce默认非确定性实现,支持通过aclrtCtxSetSysParamOpt开启确定性。
  • 增量场景不使能MC2,全量场景使能MC2。

  • 输入x1可为二维或者三维,其shape为(b, s, k)或者(m, k)。x2必须是二维。其shape为(k, n),k轴满足mm算子入参要求,k轴相等。不支持x1、x2为空矩阵。

  • m大小不超过2147483647,x1与x2的最后一维大小不超过65535,x1的最后一维指k,x2的最后一维指转置时的k或非转置时的n。bias若非空,shape为(n)。x3若非空,shape与output相同。

  • 当输入x1的shape为(b, s, k)时,输出output的shape为(b, s, n),当输入x1的shape为(m, k)时,输出output的shape为(m, n)。

  • 传入的x1、x2、dequantScale或者output不为空指针。

  • x1和x2、dequantScale、output、bias(非空场景)、x3(非空场景)的数据类型和数据格式需要在支持的范围之内。

  • 若输出output类型为FLOAT16,dequantScale的类型为INT64、UINT64;若输出output类型为BFLOAT16,dequantScale的类型为BFLOAT16,x3的类型为BFLOAT16。

  • 仅支持hccs链路all mesh组网。

    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:支持1、2、4、8卡。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:一个模型中的通算融合MC2算子,仅支持相同通信域。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:

    [object Object]