aclnnFusedQuantMatmul

产品支持情况

[object Object]undefined

功能说明

• 接口功能：量化矩阵乘和Gelu计算融合。

• 计算公式：

  • x1Scale， bias INT32（此场景无offset）：

    $$qbmmout = (x1@x2 + bias) * x2Scale * x1Scale$$

  • x1Scale， bias BFLOAT16/FLOAT16/FLOAT32（此场景无offset）：

    $$qbmmout = x1@x2 * x2scale * x1Scale + bias$$

  • x1Scale无bias：

    $$qbmmout = x1@x2 * x2Scale * x1Scale$$

  • OP类型由fusedOpType输入定义，支持如下：

    • gelu_tanh运算：

      $$out = gelu\_tanh(qbmmout)$$

    • gelu_erf运算：

      $$out = gelu\_erf(qbmmout)$$

函数原型

每个算子分为，必须先调用“aclnnFusedQuantMatmulGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnFusedQuantMatmul”接口执行计算。

aclnnFusedQuantMatmulGetWorkspaceSize

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnFusedQuantMatmul

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性说明：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：aclnnFusedQuantMatmul默认确定性实现。

• 输入和输出支持以下数据类型组合：

  [object Object]undefined

• 当前接口支持x1 pertoken量化和x2 perchannel/pertensor量化，不同的支持的x1、 x2、x1Scale和x2Scale的输入dtype组合约束为：

  • x1数据类型支持INT8、INT32、INT4。
    • 当数据类型为INT32、INT4时，为INT4量化场景：
      • 当前仅支持ND输入。
      • 只支持transposeX1为false情况。
      • 要求x1内轴为偶数。
    • 当数据类型为INT32时，每个INT32数据存放8个INT4数据，对应维度表示：（batch，m，k // 8），要求k为8的倍数。
    • 在transposeX1为false情况下，形状为（batch, m, k），batch轴支持0~4维。
  • x2数据类型支持INT8、INT32、INT4。
    • 当数据类型为INT32、INT4时，为INT4量化场景：
      • 该接口仅支持2维ND格式。
      • 要求x2内轴为偶数。
    • 数据类型为INT32时，每个INT32数据存放8个INT4数据：
      • transposeX2为true时维度为：（n，k // 8），要求k为8的倍数。
      • transposeX2为false时维度为：（k，n // 8），要求n为8的倍数。
    • transposeX2为false情况下各个维度表示：（batch，k，n），batch轴支持0~4维，其中k与x1的shape中的k一致。
    • transposeX2为true情况下各个维度表示：（batch，n，k），batch轴支持0~4维，其中k与x1的shape中的k一致。
    • 可使用aclnnConvertWeightToINT4Pack接口完成x2从INT32（1个int32在0~3bit位存储1个int4）到INT32（1个int32存储8个int4）或INT4（1个int4表示1个int4）的数据格式转换，具体参见。
  • x1Scale约束如下：
    • shape支持1维，形状为（m,），数据类型支持FLOAT32。
  • x2Scale的约束如下：
    • shape支持1维，形状为（n,）或者（1,），其中n与x2的n一致，数据类型支持FLOAT32、BFLOAT16。
  • biasOptional的约束如下：
    • shape支持1、3维，INT4量化场景下只支持biasOptional为1维，shape为(n)，3维时biasOptional shape为(batch, 1, n)。
    • 数据类型支持int32、float32、bfloat16或float16。
  • transposeX1：x1和x2为INT32、INT4时，transposeX1仅支持false，各个维度表示：（m, k）。
  • transposeX2的约束如下：
    • ND格式下，为false时维度为：（batch，k，n），为true时维度为：（batch，n，k），batch可不存在，其中k与x1的shape中的k一致。
  • out的约束如下：
    • shape支持2~6维，（batch，m，n）。数据类型支持FLOAT16、BFLOAT16。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]： x1为INT8，x2为INT8，x1Scale为FLOAT32，x2Scale为FLOAT32。

  [object Object]