aclnnGroupedMatmulV5

产品支持情况

[object Object]undefined

功能说明

• 接口功能：实现分组矩阵乘计算。如$y_i[m_i,n_i]=x_i[m_i,k_i] \times weight_i[k_i,n_i], i=1...g$，其中g为分组个数。当前支持m轴和k轴分组，对应的功能为：

  • m轴分组：$k_i$、$n_i$各组相同，$m_i$可以不相同。
  • k轴分组：$m_i$、$n_i$各组相同，$k_i$可以不相同。

• 基础计算公式如下（详细公式请参见）：

  $$y_i=x_i\times weight_i + bias_i$$

• 版本演进：

  [object Object]undefined

函数原型

每个算子分为，必须先调用“aclnnGroupedMatmulV5GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnGroupedMatmulV5”接口执行计算。

aclnnGroupedMatmulV5GetWorkspaceSize

• 参数说明：

  [object Object]

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • 上表数据类型列中的角标“2”代表该系列不支持的数据类型。
    • 不支持FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8、FLOAT8_E8M0类型。
    • 输入参数biasOptional不支持BFLOAT16；
    • 输入参数scaleOptional不支持INT64类型。

  • [object Object]Atlas 推理系列产品[object Object]：仅支持x、weight、out均为FLOAT16的场景，其中weight仅支持NZ数据格式。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景时报错。

  [object Object]

aclnnGroupedMatmulV5

• 参数说明：

  [object Object]undefined

• 返回值：

  返回aclnnStatus状态码，具体参见。

场景分类

[object Object][object Object]

• GroupedMatmul算子根据计算过程中对输入数据（x, weight）和输出矩阵（out）的精度处理方式，其支持场景主要分为：非量化，伪量化，全量化。

  • [object Object]Atlas 推理系列产品[object Object]：

    [object Object]undefined

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    [object Object]undefined

[object Object][object Object]

• 计算公式 [object Object][object Object]

  • 非量化场景：$$y_i=x_i\times weight_i + bias_i$$

  [object Object][object Object]

  • 全量化场景（无perTokenScaleOptional）：

    • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$$

  • 全量化场景（有perTokenScaleOptional）：

    • x为INT8，bias为INT32

      $$y_i=(x_i\times weight_i + bias_i) * scale_i * per\_token\_scale_i$$

    • x为INT8，bias为BFLOAT16

      $$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i + bias_i$$

    • x为INT4，无bias

      $$y_i=x_i\times (weight_i * scale_i) * per\_token\_scale_i$$

  [object Object][object Object]

  • 伪量化场景：

    • x为Float16、BFloat16，weight为INT4、INT8（仅支持x、weight、y均为单tensor的场景）。$$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$$

    [object Object][object Object]

    • x为INT8，weight为INT4（仅支持x、weight、y均为单tensor的场景）。其中$bias$为必选参数，是离线计算的辅助结果，且 $bias_i=8\times weight_i * scale_i$ ，并沿k轴规约。$$y_i=((x_i - 8) \times weight_i * scale_i+bias_i ) * per\_token\_scale_i$$

约束说明

• 确定性计算：
  • aclnnGroupedMatmulV5默认确定性实现。

[object Object]

• 公共约束

[object Object][object Object] - x和weight若需要转置，转置对应的tensor必须。 - x和weight中每一组tensor的最后一维大小都应小于65536。$x_i$的最后一维指当x不转置时$x_i$的K轴或当x转置时$x_i$的M轴。$weight_i$的最后一维指当weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。 - 当weight为FRACTAL_NZ格式时，要求weight的Shape满足FRACTAL_NZ格式要求。 - perTokenScaleOptional：一般情况下，只支持1维且长度与x的M相同。仅支持x、weight、out均为单tensor（TensorList长度为1）场景。 - groupListOptional：当输出中TensorList的长度为1时，groupListOptional约束了输出数据的有效部分，groupListOptional中未指定的部分将不会参与更新。 - groupListType为0时要求groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），groupListType为1时要求groupListOptional中数值为非负数列，表示分组轴上每组大小，groupListType为2时要求 groupListOptional中数值为非负数列，shape为[E, 2]，E表示Group大小，数据排布为[[groupIdx0, groupSize0], [groupIdx1, groupSize1]...]，其中groupSize为分组轴上每组大小，详见。 - groupType代表需要分组的轴，如矩阵乘为C[m,n]=A[m,k]xB[k,n]，则groupType取值-1：不分组，0：m轴分组，1：n轴分组，2：k轴分组。当前不支持n轴分组，详细参考[object Object]groupType支持场景[object Object]约束。 - actType（int64_t，计算输入）：整数型参数，代表激活函数类型。取值范围为0-5，支持的枚举值如下： * 0：GMMActType::GMM_ACT_TYPE_NONE； * 1：GMMActType::GMM_ACT_TYPE_RELU； * 2：GMMActType::GMM_ACT_TYPE_GELU_TANH； * 3：GMMActType::GMM_ACT_TYPE_GELU_ERR_FUNC（不支持）； * 4：GMMActType::GMM_ACT_TYPE_FAST_GELU； * 5：GMMActType::GMM_ACT_TYPE_SILU；

[object Object]

[object Object][object Object]

[object Object]

• 产品规格

  • groupType：整数型参数，代表需要分组的轴，当前只支持m轴分组。
  • groupListType：支持取值0、1。取值0: groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），1: groupListOptional中数值为非负数列，表示分组轴上每组大小。
  • actType：当前只支持传入0，表示GMMActType::GMM_ACT_TYPE_NONE。
  • tuningConfigOptional：不支持此参数。
  • 输入输出只支持float16的数据类型，输出y的n轴大小需要是16的倍数。

• 支持场景

  [object Object]undefined

[object Object]

调用示例

调用示例代码如下，仅供参考，具体编译和执行过程请参考。