[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：实现分组矩阵乘计算。如$y_i[m_i,n_i]=x_i[m_i,k_i] \times weight_i[k_i,n_i], i=1...g$，其中g为分组个数。当前支持m轴和k轴分组，对应的功能为：

  • m轴分组：$k_i$、$n_i$各组相同，$m_i$可以不相同。
  • k轴分组：$m_i$、$n_i$各组相同，$k_i$可以不相同。

• 基础计算公式如下（详细公式请参见）：

  $$y_i=x_i\times weight_i + bias_i$$

• 版本演进：

  [object Object]undefined

[object Object]

每个算子分为两段式接口，必须先调用“aclnnGroupedMatmulV5GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnGroupedMatmulV5”接口执行计算。

[object Object]

• 参数说明：

  [object Object]

  • Atlas 350 加速卡：

    • 上表数据类型列中的角标“1”代表该系列不支持的数据类型。
    • 输入参数x、weight均不支持INT16类型，且x不支持INT4类型；
    • 输入参数x、weight，输出参数out在非量化场景支持最多1024个tensor，在伪量化支持最多128个tensor，在全量化场景最多支持1个tensor。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • 上表数据类型列中的角标“2”代表该系列不支持的数据类型。
    • 不支持FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8、FLOAT8_E8M0类型。
    • 输入参数biasOptional不支持BFLOAT16；
    • 输入参数scaleOptional不支持INT64类型。
    • 输入参数x、weight，输出参数out支持最多128个tensor。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景时报错。

  [object Object]

[object Object]

• 参数说明：

  [object Object]undefined

• 返回值：

  返回aclnnStatus状态码，具体参见。

[object Object]

[object Object][object Object]

• GroupedMatmul算子根据计算过程中对输入数据（x, weight）和输出矩阵（out）的精度处理方式，其支持场景主要分为：非量化，伪量化，全量化。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    [object Object]undefined

  • Atlas 350 加速卡：

    详见

[object Object][object Object]

• 计算公式 [object Object][object Object]

  • 非量化场景：$$y_i=x_i\times weight_i + bias_i$$

  [object Object][object Object]

• 量化场景（静态量化，T-C && T-T量化，无perTokenScaleOptional）：

  $$y_i=(x_i\times weight_i) * scale_i + offset_i$$
  • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$$
  • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32，无offset$$y_i=(x_i\times weight_i) * scale_i + bias_i$$

• 量化场景（动态量化，T-T && T-C && K-T && K-C量化）：

  $$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i$$
  • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i * per\_token\_scale_i$$
  • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32$$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i + bias_i$$

• 量化场景（动态量化，MX && G-B量化）：

  $$y_i[m,n] = \sum_{j=0}^{kLoops-1} ((\sum_{k=0}^{gsK-1} (xSlice_i * weightSlice_i)) * (per\_token\_scale_i[m/gsM, j] * scale_i[j, n/gsN])) + bias_i[n]$$

  其中，gsM,gsN和gsK分别代表M/N/K轴的量化的block size，$xSlice_i$代表$x_i$第m行长度为gsK的向量，$weightSlice_i$代表$weight_i$第n列长度为gsK的向量，K轴均从j * gsK起始切片，j的取值范围[0, kLoops), kLoops=ceil($K_i$ / gsK)，支持最后的切片长度不足gsK。

[object Object][object Object]

• 伪量化场景：

  • x为Float16、BFloat16，weight为INT4、INT8（仅支持x、weight、y均为单tensor的场景）。$$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$$

  [object Object][object Object]

  • x为INT8，weight为INT4（仅支持x、weight、y均为单tensor的场景）。其中$bias$为必选参数，是离线计算的辅助结果，且 $bias_i=8\times weight_i * scale_i$ ，并沿k轴规约。$$y_i=((x_i - 8) \times weight_i * scale_i+bias_i ) * per\_token\_scale_i$$

[object Object]

• 确定性计算：
  • aclnnGroupedMatmulV5默认确定性实现。

[object Object]

• 公共约束

[object Object][object Object] - x和weight若需要转置，转置对应的tensor必须。 - x和weight中每一组tensor的最后一维大小都应小于65536。$x_i$的最后一维指当x不转置时$x_i$的K轴或当x转置时$x_i$的M轴。$weight_i$的最后一维指当weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。 - 当weight为FRACTAL_NZ格式时，要求weight的Shape满足FRACTAL_NZ格式要求。 - perTokenScaleOptional：一般情况下，只支持1维且长度与x的M相同。仅支持x、weight、out均为单tensor（TensorList长度为1）场景。 - groupListOptional：当输出中TensorList的长度为1时，groupListOptional约束了输出数据的有效部分，groupListOptional中未指定的部分将不会参与更新。 - groupListType为0时要求groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），groupListType为1时要求groupListOptional中数值为非负数列，表示分组轴上每组大小，groupListType为2时要求 groupListOptional中数值为非负数列，shape为[E, 2]，E表示Group大小，数据排布为[[groupIdx0, groupSize0], [groupIdx1, groupSize1]...]，其中groupSize为分组轴上每组大小，详见。 - groupType代表需要分组的轴，如矩阵乘为C[m,n]=A[m,k]xB[k,n]，则groupType取值-1：不分组，0：m轴分组，2：k轴分组。详细参考[object Object]groupType支持场景[object Object]约束。 - actType（int64_t，计算输入）：整数型参数，代表激活函数类型。取值范围为0-5，支持的枚举值如下： * 0：GMMActType::GMM_ACT_TYPE_NONE； * 1：GMMActType::GMM_ACT_TYPE_RELU； * 2：GMMActType::GMM_ACT_TYPE_GELU_TANH； * 3：GMMActType::GMM_ACT_TYPE_GELU_ERR_FUNC（不支持）； * 4：GMMActType::GMM_ACT_TYPE_FAST_GELU； * 5：GMMActType::GMM_ACT_TYPE_SILU；

[object Object]

[object Object][object Object]

[object Object]

• 公共约束：

  • groupType：支持m轴分组和不分组，仅非量化和全量化支持k轴分组。
  • groupListType：支持取值0、1。当groupListType为0时，groupListOptional必须为非负单调非递减数列；当groupListType为1时，groupListOptional必须为非负数列。
  • tuningConfigOptional：不支持此参数。
  • actType（int64_t，计算输入）：整数型参数，代表激活函数类型，取值范围为0-5。
    • 在伪量化和非量化场景下，actType仅支持0。
    • 在全量化场景下，当x和weight为INT8，量化模式为静态T-C量化或动态K-C量化，scale数据类型为FLOAT32或BFLOAT16时，actType支持传入0、1、2、4、5。其余全量化场景actType仅支持0。

  [object Object][object Object]

  [object Object][object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数）：

    [object Object]undefined
  [object Object][object Object]
  • 动态量化（T-T && T-C && K-T && K-C量化）场景支持的输入类型为：

    • 以下入参为空：offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、 activationInputOptional

    • 不为空的参数支持的数据类型组合要满足下表：

      [object Object]undefined

    • scaleOptional要满足下表（其中g为matmul组数即分组数），推荐在pertensor场景scaleOptional的shape使用（g,），防止与G-B量化模式混淆：

      [object Object]undefined

    • perTokenScaleOptional要满足下表：

      [object Object]undefined
  [object Object][object Object]

  • 以下入参为空：offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、 activationInputOptional

  • 计算公式中量化block size为：gsM = gsN = 1，gsK = 32。mx量化是特殊的pergroup量化。

  • 不为空的参数支持的数据类型组合要满足下表：

    [object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数，g_i为第i个分组（下标从0开 始））：

    [object Object]undefined

  • perTokenScaleOptional要满足下表：

    [object Object]undefined

  • 对于mx量化中输入x为FLOAT4_E2M1时，需要满足K为偶数且K不为2。当weight 非转置时还需满足N为偶数。

    [object Object]
  [object Object]

  • 动态量化（G-B量化）场景支持的数据类型为：

  • 以下入参为空：biasOptional、offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、activationInputOptional

  • 计算公式量化block size为：当前仅支持gsM = 1， gsN = gsK = 128。

  • 不为空的参数支持的数据类型组合要满足下表：

    [object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数，g_i为第i个分组（下标从0开 始））：

    [object Object]undefined

  • perTokenScaleOptional要满足下表：

    [object Object]undefined

  • 动态量化特殊场景处理：

    • 在动态量化场景M分组或K分组情况下，当N等于1且scaleOptional的shape为（g, 1）时，weight既可以pertensor量化也可以perchannel量化时, 优先选择pertensor量化模式。
    • 在动态量化场景M分组情况下，当g = M且perTokenScaleOptional的shape为（g,）时，x选择pertoken量化模式；当g = M，K <= 128且perTokenScaleOptional的shape 为（g, 1）时，根据weight的量化模式选择x的量化模式（weight如果是perchannel或者pertensor量化，x选择pertensor量化；weight如果是perblock量化，x选择pergroup量化）。
    • 在动态量化场景K分组情况下，K小于128，N小于等于128且scaleOptional的shape为（g, 1）时，按照现有量化模式区分规则，既可以为非pergroup量化，又可以为G-B量化，此种场景现一律按照G-B量化处理。
    • 在动态量化场景K分组情况下，当M等于1且perTokenScaleOptional的shape为（g, 1）时，x既可以pertoken量化也可以pertensor量化时, 优先选择pertensor量化模式。
    • 在动态量化场景K分组情况下，K小于128, M等于1且perTokenScaleOptional的shape为（g, 1）时，如果N小于等于128，x则选择pergroup量化；如果N大于128，根据weight的量化模式选择x的量化模式（weight如果是perchannel或者pertensor量化，x选择 pertensor量化；weight 如果是perblock量化，x选择pergroup量化）。
    • 在动态量化场景K分组情况下，K小于128, M不等于1时，如果N小于等于128，x则选择pergroup量化；如果N大于128，根据weight的量化模式选择x的量化模式（weight如果是 perchannel或者pertensor量化，x选择pertoken量化；weight如果是perblock量化，x选择pergroup量化）。[object Object]

• 非量化场景支持的数据类型为：

  • 以下入参为空：scaleOptional、offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、perTokenScaleOptional、activationInputOptional、activationQuantScaleOptional、activationQuantOffsetOptional、activationFeatureOutOptional

  • 不为空的参数支持的数据类型组合要满足下表

    [object Object]undefined

• 伪量化场景支持的数据类型为：

  • 以下入参为空：scaleOptional、offsetOptional、perTokenScaleOptional、activationInputOptional、activationQuantScaleOptional、activationQuantOffsetOptional

  • 不为空的参数支持的数据类型组合要满足下表

    [object Object]undefined

  • 当weight的数据类型为FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8时，antiquantOffsetOptional仅支持传入空指针或空tensorList，weight仅支持转置。

  • 若weight的类型为INT4，则weight中每一组tensor的最后一维大小都应是偶数。$weight_i$的最后一维指weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。

  • antiquantScaleOptional和非空的biasOptional、antiquantOffsetOptional要满足下表（其中E为matmul组数即分组数）：

    [object Object]undefined
  [object Object]
  • 不同groupType支持场景:

    • 支持场景中单表示单tensor，多表示多tensor，表示顺序为x，weight，out，例如单多单表示支持x为单tensor，weight多tensor，out单tensor的场景。

      [object Object]undefined
  [object Object]

[object Object][object Object]

调用示例代码如下，仅供参考，具体编译和执行过程请参考。