aclnnGroupedMatmulWeightNz

产品支持情况

[object Object]undefined

功能说明

• 接口功能：实现分组矩阵乘计算，每组矩阵乘的维度大小可以不同。基本功能为矩阵乘，如$y_i[m_i,n_i]=x_i[m_i,k_i] times weight_i[k_i,n_i], i=1...g$，其中g为分组个数，$m_i/k_i/n_i$为对应shape。输入输出数据类型均为aclTensorList，对应的功能为：

  • k轴分组：$k_i$各不相同，但$m_i/n_i$每组相同，此时$x_i/weight_i$可以在$k_i$上拼接。
  • m轴分组：$k_i$各组相同，$weight_i/y_i$可以在$n_i$上拼接。

  与接口对比新增功能：

  • 输入的weight的[数据格式]支持AI处理器亲和数据排布格式（FRACTAL_NZ）。
  • 新增参数quantGroupSize，整数型参数，代表分组量化（per-group）的分组大小，不涉及分组量化时，填0。

• 计算公式：

  [object Object][object Object]

  • 非量化场景：$$y_i=x_i \times weight_i + bias_i$$

  [object Object][object Object]

  • 量化场景（无perTokenScaleOptional）：

    • x为INT8，bias为INT32

      $$y_i=(x_i \times weight_i + bias_i) * scale_i + offset_i$$

    • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32，无offset

      $$y_i=(x_i \times weight_i) * scale_i + bias_i$$

  • 量化场景（有perTokenScaleOptional）：

    • x为INT8，bias为INT32

      $$y_i=(x_i \times weight_i + bias_i) * scale_i * per\_token\_scale_i$$

    • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32

      $$y_i=(x_i \times weight_i) * scale_i * per\_token\_scale_i + bias_i$$

  • 量化场景 (mx量化，当前无bias无激活层)：

    $$y_i=(x_i \times per\_token\_scale_i) * (weight_i \times scale_i)$$

  [object Object][object Object]

  • 反量化场景：$$y_i=(x_i \times weight_i + bias_i) * scale_i$$

  [object Object][object Object]

  • 伪量化场景：$$y_i=x_i \times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$$

函数原型

每个算子分为，必须先调用“aclnnGroupedMatmulWeightNzGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnGroupedMatmulWeightNz”接口执行计算。

aclnnGroupedMatmulWeightNzGetWorkspaceSize

• 参数说明：

  [object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
    • 上表数据类型列中的角标“1”代表该系列支持的数据类型，角标“2”代表该系列不支持的数据类型。
    • [object Object]可使用[object Object]及[object Object]完成ND到NZ转换。当传入INT32时，接口内部将每个INT32识别成8个INT4。
  • [object Object]Atlas 推理系列产品[object Object]：
    • 仅支持FLOAT16。[object Object]仅支持FRACTAL_NZ格式，且需通过辅助接口转换。
    • [object Object]、[object Object]等量化/非对称量化参数功能暂不支持，需传空指针。
    • [object Object]只支持m轴分组(0)。[object Object]只支持0。[object Object]不支持。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，若出现以下错误码，则对应原因为：

  [object Object]

aclnnGroupedMatmulWeightNz

• 参数说明：

  [object Object]undefined

• 返回值：

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算：
  • aclnnGroupedMatmulWeightNz默认确定性实现。
• 公共约束
  • 如果传入groupListOptional，当groupListType为0时，groupListOptional必须为非负单调非递减数列；当groupListType为1时，groupListOptional必须为非负数列，且长度不能为1；groupListType为2时，groupListOptional的第二列数据必须为非负数列，且长度不能为1。
  • x和weight中每一组tensor的每一维大小在32字节对齐后都应小于int32的最大值2147483647。

[object Object]

• 非量化场景支持的输入类型为：

  • x为FLOAT16、weight为FLOAT16、biasOptional为FLOAT16、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为空、activationInputOptional为空、out为FLOAT16。
  • x为BFLOAT16、weight为BFLOAT16、biasOptional为FLOAT32、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为空、activationInputOptional为空、out为BFLOAT16。

• 量化场景支持的输入类型为：

  • x为INT8、weight为INT8、biasOptional为INT32、scaleOptional为BFLOAT16、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为空或FLOAT32、activationInputOptional为空、out为BFLOAT16。
  • x为INT8、weight为INT8、biasOptional为INT32、scaleOptional为FLOAT32、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为空或为FLOAT32、activationInputOptional为空、out为FLOAT16。
  • x为INT4、weight为INT4、biasOptional为空、scaleOptional为UINT64、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为空或为FLOAT32、activationInputOptional为空、out为FLOAT16或BFLOAT16。

• 伪量化场景支持的输入类型为：

  • 伪量化参数antiquantScaleOptional和antiquantOffsetOptional的shape要满足下表（其中g为matmul组数，G为pergroup数，$G_i$为第i个tensor的pergroup数）：

    [object Object]undefined

  • x为INT8、weight为INT4、biasOptional为FLOAT32、scaleOptional为UINT64、antiquantScaleOptional为空、antiquantOffsetOptional为空、perTokenScaleOptional为FLOAT32、activationInputOptional为空。此场景支持对称量化和非对称量化：

    • 对称量化场景：

      • 输出out的dtype为BFLOAT16或FLOAT16
      • offsetOptional为空
      • 仅支持count模式（算子不会检查groupListType的值），k要求为quantGroupSize的整数倍，且要求k <= 18432。其中quantGroupSize为k方向上pergroup量化长度，当前支持quantGroupSize=256。
      • scale为pergroup与perchannel离线融合后的结果，shape要求为$[E, quantGroupNum, N]$，其中$quantGroupNum=k \div quantGroupSize$。
      • Bias为计算过程中离线计算的辅助结果，值要求为$8\times weight \times scale$，并在第1维累加，shape要求为$[E, N]$。
      • 要求N为8的整数倍。

    • 非对称量化场景：

      • 输出out的dtype为FLOAT16
      • 仅支持count模式（算子不会检查groupListType的值）。
      • {k, n}要求为{7168, 4096}或者{2048, 7168}。
      • scale为pergroup与perchannel离线融合后的结果，shape要求为$[E, 1, N]$。
      • offsetOptional不为空。非对称量化offsetOptional为计算过程中离线计算辅助结果，即$antiquantOffset \times scale$，shape要求为$[E, 1, N]$，dtype为FLOAT32。
      • Bias为计算过程中离线计算的辅助结果，值要求为$8\times weight \times scale$，并在第1维累加，shape要求为$[E, N]$。
      • 要求N为8的整数倍。

  • 伪量化场景下，若weight的类型为INT8，仅支持perchannel模式；若weight的类型为INT4，对称量化支持perchannel和pergroup两种模式。若为pergroup，pergroup数G或$G_i$必须要能整除对应的$k_i$。若weight为多tensor，定义pergroup长度$s_i = k_i / G_i$，要求所有$s_i(i=1,2,...g)$都相等。非对称量化支持perchannel模式。

  • 伪量化场景下若weight的类型为INT4，则weight中每一组tensor的最后一维大小都应是偶数。$weight_i$的最后一维指weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。并且在pergroup场景下，当weight转置时，要求pergroup长度$s_i$是偶数。

• 不同groupType支持场景:

  • 量化、伪量化仅支持groupType为-1和0场景。

  • 支持场景中单表示单tensor，多表示多tensor，表示顺序为x，weight，y，例如单多单表示支持x为单tensor，weight多tensor，y单tensor的场景。

    [object Object]undefined

[object Object][object Object]

• 输入输出只支持float16的数据类型，输出y的n轴大小需要是16的倍数。

  支持场景中单表示单tensor，多表示多tensor，表示顺序为x、weight、y。例如单多单表示支持x为单tensor、weight多tensor、y单tensor的场景。

  [object Object]undefined

[object Object]

调用示例

调用示例代码如下，仅供参考，具体编译和执行过程请参考。