aclnnGroupedMatmulV5

产品支持情况

[object Object]undefined

功能说明

算子功能：实现分组矩阵乘计算。如 $y_i[m_i,n_i]=x_i[m_i,k_i] \times weight_i[k_i,n_i], i=1...g$ ，其中g为分组个数。当前支持m轴和k轴分组，对应的功能为：
- m轴分组： $k_i$ 、 $n_i$ 各组相同， $m_i$ 可以不相同。
- k轴分组： $m_i$ 、 $n_i$ 各组相同， $k_i$ 可以不相同。
计算公式：
$y_i=x_i\times weight_i + bias_i$
版本演进：

[object Object]undefined

接口原型

[object Object]

aclnnGroupedMatmulV5GetWorkspaceSize

参数说明：

[object Object]undefined

[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
- 上表数据类型列中的角标“2”代表该系列不支持的数据类型。
- 不支持FLOAT8_E5M2、FLOAT8_E4M3FN、HIFLOAT8、FLOAT8_E8M0类型。
- 输入参数biasOptional不支持BFLOAT16；
- 输入参数scaleOptional不支持INT64类型。
[object Object]Atlas 推理系列产品[object Object]：
- 仅支持x、weight、out均为FLOAT16的场景，其中weight仅支持NZ数据格式。
返回值：

返回aclnnStatus状态码，具体参见。
[object Object]

aclnnGroupedMatmulV5

参数说明：
[object Object]undefined
返回值：

返回aclnnStatus状态码，具体参见。

场景分类

GroupedMatmul算子根据计算过程中对输入数据（x, weight）和输出矩阵（out）的精度处理方式，其支持场景主要分为：非量化，伪量化，全量化。
- [object Object]Atlas 推理系列产品[object Object]：
[object Object]undefined
[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
[object Object]undefined
计算公式 [object Object][object Object]
- 非量化场景：
$y_i=x_i\times weight_i + bias_i$
[object Object][object Object]
- 全量化场景（无perTokenScaleOptional）：
- x为INT8，bias为INT32
  $y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$
- 全量化场景（有perTokenScaleOptional）：
- x为INT8，bias为INT32
$y_i=(x_i\times weight_i + bias_i) * scale_i * per\_token\_scale_i$
- x为INT8，bias为BFLOAT16
$y_i=(x_i\times weight_i) * scale_i * per\_token\_scale_i + bias_i$
- x为INT4，无bias
$y_i=x_i\times (weight_i * scale_i) * per\_token\_scale_i$
[object Object][object Object]
- 伪量化场景：
$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$
[object Object][object Object]
- x为INT8，weight为INT4（仅支持x、weight、y均为单tensor的场景）。其中 $bias$ 为必选参数，是离线计算的辅助结果，且 $bias_i=8\times weight_i * scale_i$ ，并沿k轴规约。
$y_i=((x_i - 8) \times weight_i * scale_i+bias_i ) * per\_token\_scale_i$

约束说明

[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]： [object Object][object Object]
- 公共约束
  - x和weight若需要转置，转置对应的tensor必须。
  - x和weight中每一组tensor的最后一维大小都应小于65536。 $x_i$ 的最后一维指当x不转置时 $x_i$ 的K轴或当x转置时 $x_i$ 的M轴。 $weight_i$ 的最后一维指当weight不转置时 $weight_i$ 的N轴或当weight转置时 $weight_i$ 的K轴。
  - 当weight为FRACTAL_NZ格式时，要求weight的Shape满足FRACTAL_NZ格式要求。
  - perTokenScaleOptional：一般情况下，只支持1维且长度与x的M相同。仅支持x、weight、out均为单tensor（TensorList长度为1）场景。
  - groupListOptional：当输出中TensorList的长度为1时，groupListOptional约束了输出数据的有效部分，groupListOptional中未指定的部分将不会参与更新。
  - groupListType为0时要求groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），groupListType为1时要求groupListOptional中数值为非负数列，表示分组轴上每组大小，groupListType为2时要求 groupListOptional中数值为非负数列，shape为[g, 2]，e表示Group大小，数据排布为[[groupIdx0, groupSize0], [groupIdx1, groupSize1]...]，其中groupSize为分组轴上每组大小，详见。
  - groupType代表需要分组的轴，如矩阵乘为C[m,n]=A[m,k]xB[k,n]，则groupType取值-1：不分组，0：m轴分组，1：n轴分组，2：k轴分组。当前不支持n轴分组，详细参考[object Object]groupType支持场景[object Object]约束。
  - actType（int64_t，计算输入）：整数型参数，代表激活函数类型。取值范围为0-5，支持的枚举值如下：
    - 0：GMMActType::GMM_ACT_TYPE_NONE；
    - 1：GMMActType::GMM_ACT_TYPE_RELU；
    - 2：GMMActType::GMM_ACT_TYPE_GELU_TANH；
    - 3：GMMActType::GMM_ACT_TYPE_GELU_ERR_FUNC（不支持）；
    - 4：GMMActType::GMM_ACT_TYPE_FAST_GELU；
    - 5：GMMActType::GMM_ACT_TYPE_SILU；
  - tuningConfigOptional（aclIntArray*，计算输入）：可选参数，Host侧的aclIntArray，数组里面存储INT64的元素, 要求是非负数且不大于x矩阵的行数。数组中第一个元素表示各个专家处理的token数的预期值，算子tiling时会按照数组中第一个元素进行最优tiling，性能更优。从第二个元素开始预留，用户无须填写，未来会进行扩展。兼容历史版本，用户如不使用该参数，不传（即为nullptr）即可。
    - 1: 适用于量化场景（x和weight为INT8类型，输出为INT8/FLOAT16/BFLOAT16/INT32类型），且为单tensor单专家的场景。
    - 2: 伪量化场景（x为INT8类型，weight为INT4类型，输出为FLOAT16/BFLOAT16类型），且为x、weight、y均为单tensor的场景。
[object Object][object Object]
- A8W8场景约束
  - 数据类型要求
[object Object]undefined
- 除外，其余约束如下
  - 仅支持GroupType=0（M轴分组）
  - 当前仅支持x、weight、out均为长度为1的TensorList
  - x不支持转置
  - x仅支持2维Tensor，Shape为（M，K）
  - weight仅支持3维Tensor，Shape为（G，K，N）或（G，N，K）
[object Object][object Object]
- A8W4场景约束
  - 数据类型要求
[object Object]undefined
- 除外,其余约束如下
  - 仅支持GroupType=0（M轴分组），actType=0
  - 当前仅支持x、weight、out均为长度为1的TensorList
  - x不支持转置、weight不支持转置
  - x仅支持2维Tensor，Shape为（M，K）
  - weight仅支持3维Tensor，Shape为（G，K，N）
  - Bias为计算过程中离线计算的辅助结果，值要求为 $8\times weight \times scale$ ，并在第1维累加，shape要求为 $[g, n]$ 。
  - 当weight传入数据类型为INT32时，会将每个INT32视为8个INT4。
  - offset为空时
    - 该场景下仅支持groupListType为1（算子不会检查groupListType的值，会认为groupListType为1），k要求为quantGroupSize的整数倍，且要求k <= 18432。其中quantGroupSize为k方向上pergroup量化长度，当前支持quantGroupSize=256。
    - 该场景下要求n为8的整数倍。
    - 该场景下scale为pergroup与perchannel离线融合后的结果，shape要求为 $[g, quantGroupNum, n]$ ，其中 $quantGroupNum=k \div quantGroupSize$ 。
    - 该场景下，各个专家处理的token数的预期值大于n/4时，即tuningConfigOptional中第一个值大于n/4时，通常会取得更好的性能，此时显存占用会增加 $g\times k \times n$ 字节（其中g为matmul组数即分组数）。
  - offset不为空时
    - 该场景下{K, N}要求为{7168, 4096}或者{2048, 7168}。
    - scale为pergroup与perchannel离线融合后的结果，shape要求为 $[g, 1, n]$ 。
    - 该场景下offsetOptional不为空。非对称量化offsetOptional为计算过程中离线计算辅助结果，即 $antiquantOffset \times scale$ ，shape要求为 $[g, 1, n]$ ，dtype为FLOAT32。
[object Object][object Object]
- a16w4场景约束
  - 数据类型要求
[object Object]undefined
除外，其余约束如下
- x不支持转置
- 仅支持GroupType=-1、0，actType=0，groupListType=0/1
- weight中每一组tensor的最后一维大小都应是偶数，最后一维指weight不转置时 $weight_i$ 的N轴或当weight转置时 $weight_i$ 的K轴。
- 对称量化支持perchannel和pergroup量化模式，若为pergroup，pergroup数G或 $G_i$ 必须要能整除对应的 $k_i$ 。
- 非对称量化仅支持perchannel模式。
- 在pergroup场景下，当weight转置时，要求pergroup长度 $s_i$ 是偶数。
- 若weight为多tensor，定义pergroup长度 $s_i = k_i / G_i$ ，要求所有 $s_i(i=1,2,...g)$ 都相等。
- 伪量化参数antiquantScaleOptional和antiquantOffsetOptional的shape要满足下表（其中g为matmul组数，G为pergroup数， $G_i$ 为第i个tensor的pergroup数）：
[object Object]undefined
- a16w8场景约束
  - 数据类型要求
[object Object]undefined
- 除外，其余约束如下
  - x不支持转置
  - 仅支持GroupType=-1、0，actType=0，groupListType=0/1
  - 仅支持perchannel量化模式。
  - 若weight为多tensor，定义pergroup长度 $s_i = k_i / G_i$ ，要求所有 $s_i(i=1,2,...g)$ 都相等。
  - 伪量化参数antiquantScaleOptional和antiquantOffsetOptional的shape要满足下表（其中g为matmul组数）：
[object Object]undefined
- A4W4场景约束
  - 数据类型要求
[object Object]undefined
- 除外，其余约束如下
  - 仅支持GroupType=0（M轴分组），actType=0，groupListType=0/1
  - 当前仅支持x、weight、out均为长度为1的TensorList
  - x不支持转置，weight不支持转置
  - x仅支持2维Tensor，Shape为（M，K）
  - weight仅支持3维Tensor，Shape为（G，K，N）
  - weight的数据格式为ND时，要求n为8的整数倍。
  - 支持perchannel和pergroup量化。perchannel场景的scale的shape需为 $[g, n]$ ，pergroup场景需为 $[g, G, n]$ 。
  - pergroup场景下， $G$ 必须要能整除 $k$ ，且 $k/G$ 需为偶数。
[object Object][object Object]
- 非量化场景约束
  - 数据类型要求
[object Object]undefined
- 除外，其余约束如下
  - 支持GroupType=-1、0、2，actType=0，groupListType=0/1
- [object Object][object Object]不同groupType支持场景:
  - 伪量化仅支持groupType为-1和0场景。
  - 量化仅支持groupType为0场景。
  - x、weight、y的输入类型为aclTensorList，表示一个aclTensor类型的数组对象。下面表格支持场景用“单”表示由一个aclTensor组成的aclTensorList，“多”表示由多个aclTensor组成的aclTensorList。例如“单多单”，分别表示x为单tensor、weight为多tensor、y为单tensor。

[object Object]undefined

[object Object][object Object]

groupListOptional配置示例:
- shape信息 M = 789、 K=4096、 N=7168 、E = 8（0,2,5个专家有需要处理的token，0处理123个token， 2/5处理333个token） X的shape是[[789, 4096]] W的shape是[[9, 4096, 7168]] Y的shape是[[789, 7168]]
- groupListType为0时groupList配置如下
  - groupListOptional：[object Object]
- groupListType为1时groupList配置如下
  - groupListOptional：[object Object]
- groupListType为2时groupList配置如下
  - groupListOptional在该模式会将所有非0的group移动到前面，适用于非激活专家较多场景。
  - groupListOptional：[object Object] [object Object][object Object]
[object Object]Atlas 推理系列产品[object Object]：
- groupType：整数型参数，代表需要分组的轴，当前只支持m轴分组。
- groupListType：支持取值0、1。取值0: groupListOptional中数值为非负单调非递减数列，表示分组轴大小的cumsum结果（累积和），1: groupListOptional中数值为非负数列，表示分组轴上每组大小。
- actType：当前只支持传入0，表示GMMActType::GMM_ACT_TYPE_NONE。
- tuningConfigOptional：不支持此参数。
- 输入输出只支持float16的数据类型，输出y的n轴大小需要是16的倍数。
[object Object]undefined

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

[object Object]