[object Object]

须知：该接口后续版本会废弃，请使用最新aclnnGroupedMatmulV5接口。

[object Object][object Object]undefined[object Object]

• 接口功能：实现分组矩阵乘计算，每组矩阵乘的维度大小可以不同。基本功能为矩阵乘，如$y_i[m_i,n_i]=x_i[m_i,k_i] \times weight_i[k_i,n_i], i=1...g$，其中g为分组个数，$m_i/k_i/n_i$为对应的维度。输入输出参数类型均为aclTensorList，对应的功能为：

  • k轴分组：$k_i$各不相同，但$m_i/n_i$每组相同，此时$x_i/weight_i$可以在$k_i$上拼接。
  • m轴分组：$k_i$各组相同，$weight_i/y_i$可以在$n_i$上拼接。

  相较于接口，此接口新增：

  • 支持groupListOptional中数值为分组轴上每组大小。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
    • 支持静态量化（pertensor+perchannel）（量化方式请参见，下同）BFLOAT16和FLOAT16输出，带激活及不带激活场景
    • 支持动态量化（pertoken+perchannel）BFLOAT16和FLOAT16输出，带激活及不带激活场景。
    • 支持伪量化weight是INT4的输入，不带激活场景，支持perchannel和pergroup两种模式。
  • Atlas 350 加速卡：
    • 支持静态量化（1.pertensor-perchannel(T-C)；2.pertensor-pertensor(T-T)）BFLOAT16，FLOAT16和FLOAT32输出，带bias。
    • 支持动态量化（1.pertoken-perchannel(K-C)；2.pertoken-pertensor(K-T)；3.pertensor-pertensor(T-T)；4.pertensor-perchannel(T-C)；5.mx量化；6.pergroup-perblock(G-B)）BFLOAT16，FLOAT16和FLOAT32输出，带bias。
    • 支持伪量化weight是INT4、FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8的输入，不带激活场景，仅支持perchannel模式。

说明：

• 单tensor指一个tensor list中所有分组的tensor在groupType指定的分组轴上合并为1个；否则为多tensor。

• tensor转置：指若tensor shape为[M,K]时，则stride为[1,M],数据排布为[K,M]的场景，即非连续tensor。

• 计算公式：

  • 非量化场景：

    $$y_i=x_i\times weight_i + bias_i$$

  • 量化场景（静态量化，T-C && T-T量化，无perTokenScaleOptional）：

    $$y_i=(x_i\times weight_i) * scale_i + offset_i$$
    • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$$
    • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32，无offset$$y_i=(x_i\times weight_i) * scale_i + bias_i$$

  • 量化场景（动态量化，T-T && T-C && K-T && K-C量化）：

    $$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i$$
    • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i * per\_token\_scale_i$$
    • x为INT8，bias为BFLOAT16/FLOAT16/FLOAT32$$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i + bias_i$$

  • 量化场景（动态量化，MX && G-B量化）：

    $$y_i[m,n] = \sum_{j=0}^{kLoops-1} ((\sum_{k=0}^{gsK-1} (xSlice_i * weightSlice_i)) * (per\_token\_scale_i[m/gsM, j] * scale_i[j, n/gsN])) + bias_i[n]$$

    其中，gsM,gsN和gsK分别代表M/N/K轴的量化的block size，$xSlice_i$代表$x_i$第m行长度为gsK的向量，$weightSlice_i$代表$weight_i$第n列长度为gsK的向量，K轴均从j * gsK起始切片，j的取值范围[0, kLoops), kLoops=ceil($K_i$ / gsK)，支持最后的切片长度不足gsK。

  • 伪量化场景：

    $$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$$

[object Object]

每个算子分为，必须先调用“aclnnGroupedMatmulV4GetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnGroupedMatmulV4”接口执行计算。

[object Object]

• 参数说明：

  [object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
    • x支持FLOAT16、BFLOAT16、FLOAT32、INT8、INT4
    • weight支持FLOAT16、BFLOAT16、FLOAT32、INT8、INT4，格式支持ND、FRACTAL_NZ
    • biasOptional支持FLOAT16、FLOAT32、INT32
    • scaleOptional支持UINT64、BFLOAT16、FLOAT32
    • perTokenScaleOptional支持FLOAT32
    • out支持FLOAT16、BFLOAT16、INT8、FLOAT32、INT32
    • 输入参数x、weight，输出参数out支持最多128个tensor。
  • Atlas 350 加速卡：
    • x支持FLOAT8_E4M3FN、FLOAT8_E5M2、INT8、HIFLOAT8、FLOAT16、BFLOAT16、FLOAT32、FLOAT4_E2M1
    • weight支持FLOAT8_E4M3FN、FLOAT8_E5M2、INT8、INT4、HIFLOAT8、FLOAT16、BFLOAT16、FLOAT32、FLOAT4_E2M1，格式仅支持ND格式。
    • biasOptional支持INT32、BFLOAT16、FLOAT16、FLOAT32，在输入x为INT8、FLOAT16、BFLOAT16、FLOAT32时支持INT32、BFLOAT16、FLOAT16、FLOAT32，在输入x为FLOAT4_E2M1时仅支持FLOAT32，其它类型输入需传空指针
    • scaleOptional支持UINT64、INT64、BFLOAT16、FLOAT32、FLOAT8_E8M0
    • perTokenScaleOptional支持FLOAT32、FLOAT8_E8M0
    • groupListType不支持取2
    • actType支持0、1、2、4、5。综合约束请参见[object Object]约束说明[object Object]。
    • out支持BFLOAT16、FLOAT16、FLOAT32
    • 不支持offsetOptional
    • groupType支持m轴分组，仅非量化和量化支持k轴分组，仅非量化和伪量化支持不分组
    • 输入参数x、weight，输出参数out在非量化场景支持最多1024个tensor，在伪量化场景支持最多128个tensor，在全量化场景仅支持单tensor。

• 返回值：

  返回aclnnStatus状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

[object Object]

[object Object][object Object]

• GroupedMatmul算子根据计算过程中对输入数据（x, weight）和输出矩阵（out）的精度处理方式，其支持场景主要分为：非量化，伪量化，全量化。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    [object Object]undefined

  • Atlas 350 加速卡：

    详见

[object Object][object Object]

• 计算公式 [object Object][object Object]

  • 非量化场景：$$y_i=x_i\times weight_i + bias_i$$

  [object Object][object Object]

  • 全量化场景（无perTokenScaleOptional）：

    • x为INT8，bias为INT32$$y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$$

  • 全量化场景（有perTokenScaleOptional）：

    • x为INT8，bias为INT32

      $$y_i=(x_i\times weight_i + bias_i) * scale_i * per\_token\_scale_i$$

    • x为INT8，bias为BFLOAT16

      $$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i + bias_i$$

    • x为INT4，无bias

      $$y_i=x_i\times (weight_i * scale_i) * per\_token\_scale_i$$

  [object Object][object Object]

  • 伪量化场景：

    • x为Float16、BFloat16，weight为INT4、INT8（仅支持x、weight、y均为单tensor的场景）。$$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$$

    [object Object][object Object]

    • x为INT8，weight为INT4（仅支持x、weight、y均为单tensor的场景）。其中$bias$为必选参数，是离线计算的辅助结果，且 $bias_i=8\times weight_i * scale_i$ ，并沿k轴规约。$$y_i=((x_i - 8) \times weight_i * scale_i+bias_i ) * per\_token\_scale_i$$

[object Object]

• 确定性计算：
  • aclnnGroupedMatmulV4默认确定性实现。

[object Object]

• 公共约束

[object Object][object Object] - x和weight若需要转置，转置对应的tensor必须。 - x和weight中每一组tensor的最后一维大小都应小于65536。$x_i$的最后一维指当x不转置时$x_i$的K轴或当x转置时$x_i$的M轴。$weight_i$的最后一维指当weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。 - 当weight为FRACTAL_NZ格式时，要求weight的Shape满足FRACTAL_NZ格式要求。 - perTokenScaleOptional：一般情况下，只支持1维且长度与x的M相同。仅支持x、weight、out均为单tensor（TensorList长度为1）场景。 - groupListOptional：当输出中TensorList的长度为1时，groupListOptional约束了输出数据的有效部分，groupListOptional中未指定的部分将不会参与更新。 - groupListType为0时要求groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），groupListType为1时要求groupListOptional中数值为非负数列，表示分组轴上每组大小，groupListType为2时要求 groupListOptional中数值为非负数列，shape为[E, 2]，E表示Group大小，数据排布为[[groupIdx0, groupSize0], [groupIdx1, groupSize1]...]，其中groupSize为分组轴上每组大小，详见。 - groupType代表需要分组的轴，如矩阵乘为C[m,n]=A[m,k]xB[k,n]，则groupType取值-1：不分组，0：m轴分组，2：k轴分组。详细参考[object Object]groupType支持场景[object Object]约束。 - actType（int64_t，计算输入）：整数型参数，代表激活函数类型，取值范围为0-5。

[object Object]

[object Object][object Object]

[object Object]

• 公共约束：

  • groupListType：支持取值0、1。当groupListType为0时，groupListOptional必须为非负单调非递减数列；当groupListType为1时，groupListOptional必须为非负数列。
  • actType（int64_t，计算输入）：整数型参数，代表激活函数类型，取值范围为0-5。
    • 在伪量化和非量化场景下，actType仅支持0。
    • 在全量化场景下，当x和weight为INT8，量化模式为静态T-C量化或动态K-C量化，scale数据类型为FLOAT32或BFLOAT16时，actType支持传入0、1、2、4、5。其余全量化场景actType仅支持0。

  [object Object][object Object]

  [object Object]

  • 以下入参为空：offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、 perTokenScaleOptional、 activationInputOptional

  • 不为空的参数支持的数据类型组合要满足下表：

    [object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数）：

    [object Object]undefined
  [object Object][object Object]
  • 动态量化（T-T && T-C && K-T && K-C量化）场景支持的输入类型为：

    • 以下入参为空：offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、 activationInputOptional

    • 不为空的参数支持的数据类型组合要满足下表：

      [object Object]undefined

    • scaleOptional要满足下表（其中g为matmul组数即分组数），推荐在pertensor场景scaleOptional的shape使用（g,），防止与G-B量化模式混淆：

      [object Object]undefined

    • perTokenScaleOptional要满足下表：

      [object Object]undefined
  [object Object][object Object]

  • 以下入参为空：offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、 activationInputOptional

  • 计算公式中量化block size为：gsM = gsN = 1，gsK = 32。mx量化是特殊的pergroup量 化。

  • 不为空的参数支持的数据类型组合要满足下表：

    [object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数，g_i为第i个分组（下标从0开 始））：

    [object Object]undefined

  • perTokenScaleOptional要满足下表：

    [object Object]undefined

  • 对于mx量化中输入x为FLOAT4_E2M1时，需要满足K为偶数且K不为2。当weight 非转置时还需满足N为偶数。

    [object Object]
  [object Object]

  • 动态量化（G-B量化）场景支持的数据类型为：

  • 以下入参为空：biasOptional、offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、activationInputOptional

  • 计算公式量化block size为：当前仅支持gsM = 1， gsN = gsK = 128。

  • 不为空的参数支持的数据类型组合要满足下表：

    [object Object]undefined

  • scaleOptional要满足下表（其中g为matmul组数即分组数，g_i为第i个分组（下标从0开 始））：

    [object Object]undefined

  • perTokenScaleOptional要满足下表：

    [object Object]undefined

  • 动态量化特殊场景处理：

    • 在动态量化场景M分组或K分组情况下，当N等于1且scaleOptional的shape为（g, 1）时，weight既可以pertensor量化也可以perchannel量化时, 优先选择pertensor量化模式。
    • 在动态量化场景M分组情况下，当g = M且perTokenScaleOptional的shape为（g,）时，x选择pertoken量化模式；当g = M，K <= 128且perTokenScaleOptional的shape 为（g, 1）时，根据weight的量化模式选择x的量化模式（weight如果是perchannel或者pertensor量化，x选择pertensor量化；weight如果是perblock量化，x选择pergroup量化）。
    • 在动态量化场景K分组情况下，K小于128，N小于等于128且scaleOptional的shape为（g, 1）时，按照现有量化模式区分规则，既可以为非pergroup量化，又可以为G-B量化，此种场景现一律按照G-B量化处理。
    • 在动态量化场景K分组情况下，当M等于1且perTokenScaleOptional的shape为（g, 1）时，x既可以pertoken量化也可以pertensor量化时, 优先选择pertensor量化模式。
    • 在动态量化场景K分组情况下，K小于128, M等于1且perTokenScaleOptional的shape为（g, 1）时，如果N小于等于128，x则选择pergroup量化；如果N大于128，根据weight的量化模式选择x的量化模式（weight如果是perchannel或者pertensor量化，x选择 pertensor量化；weight 如果是perblock量化，x选择pergroup量化）。
    • 在动态量化场景K分组情况下，K小于128, M不等于1时，如果N小于等于128，x则选择pergroup量化；如果N大于128，根据weight的量化模式选择x的量化模式（weight如果是 perchannel或者pertensor量化，x选择pertoken量化；weight如果是perblock量化，x选择pergroup量化）。[object Object]
  [object Object]
  • 非量化场景支持的数据类型为：

    • 以下入参为空：scaleOptional、offsetOptional、antiquantScaleOptional、antiquantOffsetOptional、perTokenScaleOptional、activationInputOptional、activationQuantScaleOptional、activationQuantOffsetOptional、activationFeatureOutOptional

    • 不为空的参数支持的数据类型组合要满足下表

      [object Object]undefined
  [object Object][object Object]
  • 伪量化场景支持的数据类型为：

    • 以下入参为空：scaleOptional、offsetOptional、perTokenScaleOptional、activationInputOptional、activationQuantScaleOptional、activationQuantOffsetOptional

    • 不为空的参数支持的数据类型组合要满足下表

      [object Object]undefined

    • 当weight的数据类型为FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8时，antiquantOffsetOptional仅支持传入空指针或空tensorList，weight仅支持转置。

    • 若weight的类型为INT4，则weight中每一组tensor的最后一维大小都应是偶数。$weight_i$的最后一维指weight不转置时$weight_i$的N轴或当weight转置时$weight_i$的K轴。

    • antiquantScaleOptional和非空的biasOptional、antiquantOffsetOptional要满足下表（其中g为matmul组数即分组数）：

      [object Object]undefined
  [object Object][object Object]
  • 不同groupType支持场景:

    • 支持场景中单表示单tensor，多表示多tensor，表示顺序为x，weight，out，例如单多单表示支持x为单tensor，weight多 tensor，out单tensor的场景。

      [object Object]undefined
  [object Object]

[object Object][object Object]

调用示例代码如下，仅供参考，具体编译和执行过程请参考。