aclnnGroupedMatmulV2

支持的产品型号

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

函数原型

每个算子分为，必须先调用“aclnnGroupedMatmulV2GetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnGroupedMatmulV2”接口执行计算。

aclnnStatus aclnnGroupedMatmulV2GetWorkspaceSize(const aclTensorList* x, const aclTensorList* weight, const aclTensorList* biasOptional, const aclTensorList* scaleOptional, const aclTensorList* offsetOptional, const aclTensorList* antiquantScaleOptional, const aclTensorList* antiquantOffsetOptional, const aclIntArray* groupListOptional, int64_t splitItem, int64_t groupType, const aclTensorList* y, uint64_t* workspaceSize, aclOpExecutor** executor)
aclnnStatus aclnnGroupedMatmulV2(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能说明

算子功能：实现分组矩阵乘计算，每组矩阵乘的维度大小可以不同。基本功能为矩阵乘，如 $y_i[m_i,n_i]=x_i[m_i,k_i] \times weight_i[k_i,n_i], i=1...g$ $y_{i} [m_{i}, n_{i}] = x_{i} [m_{i}, k_{i}] \times w e i g h t_{i} [k_{i}, n_{i}], i = 1... g$ ，其中g为分组个数， $m_i/k_i/n_i$ $m_{i} / k_{i} / n_{i}$ 为对应shape。相较于接口，此接口新增：
- Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件：
  - 支持不同分组轴，由groupType表示。
  - 非量化场景，支持x，weight转置（转置指若shape为[M,K]时，则stride为[1, M],数据排布为[K,M]的场景）。
  - 非量化场景支持x，weight输入都为float32类型。
  - 量化、伪量化场景，支持weight转置，支持weight为单tensor。
计算公式：
- 非量化场景：
$y_i=x_i\times weight_i + bias_i$
- 量化场景：
$y_i=(x_i\times weight_i + bias_i) * scale_i + offset_i$
- 反量化场景：
$y_i=(x_i\times weight_i + bias_i) * scale_i$
- 伪量化场景：
$y_i=x_i\times (weight_i + antiquant\_offset_i) * antiquant\_scale_i + bias_i$

aclnnGroupedMatmulV2GetWorkspaceSize

参数说明：
- x（aclTensorList*，计算输入）：必选参数，Device侧的aclTensorList，公式中的输入x，支持ND，支持的最大长度为128个。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32
- weight（aclTensorList*，计算输入）：必选参数，Device侧的aclTensorList，公式中的weight，支持ND，支持的最大长度为128个。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32
- biasOptional（aclTensorList*，计算输入）可选参数，Device侧的aclTensorList，公式中的bias，支持ND，长度与weight相同。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT16、FLOAT32、INT32
- scaleOptional（aclTensorList*，计算输入）可选参数，Device侧的aclTensorList，代表量化参数中的缩放因子，支持ND，长度与weight相同。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持UINT64
- offsetOptional（aclTensorList*，计算输入）可选参数，Device侧的aclTensorList，代表量化参数中的偏移量，支持ND，长度与weight相同。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT32
- antiquantScaleOptional（aclTensorList*，计算输入）可选参数，Device侧的aclTensorList，代表伪量化参数中的缩放因子6，支持ND，长度与weight相同。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT16、BFLOAT16
- antiquantOffsetOptional（aclTensorList*，计算输入）可选参数，Device侧的aclTensorList，代表伪量化参数中的偏移量，支持ND，长度与weight相同。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件:数据类型支持FLOAT16、BFLOAT16
- groupListOptional（aclIntArray*，计算输入）：可选参数，Host侧的aclIntArray类型，分组轴方向的matmul索引情况，分组轴由参数groupType表示，数据类型支持INT64，支持ND，长度与weight相同。需注意：当输出中TensorList的长度为1时，groupListOptional中的最后一个值约束了输出数据的有效部分，groupListOptional中未指定的部分将不会参与更新。
- splitItem（int64_t，计算输入）：整数型参数，代表输出是否要做tensor切分，0/1代表输出为多tensor；2/3代表输出为单tensor。
- groupType（int64_t，计算输入）：整数型参数，代表需要分组的轴，如矩阵乘为C[m,n]=A[m,k]xB[k,n]，则groupType取值-1：不分组，0：m轴分组，1：n轴分组，2：k轴分组，默认值为-1，当前不支持n轴分组。
- y（aclTensorList*，计算输出）：Device侧的aclTensorList，公式中的输出y，支持ND，支持的最大长度为128个。
  - Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件：数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32。
  - [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT16、BFLOAT16。
- workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
- executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见。

[object Object]

aclnnGroupedMatmulV2

参数说明：
- workspace（void*，入参）：在Device侧申请的workspace内存地址。
- workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnGroupedMatmulV2GetWorkspaceSize获取。
- executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
- stream（aclrtStream，入参）：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见。

约束说明

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件：

非量化场景支持的输入类型为：
- x为FLOAT16、weight为FLOAT16、biasOptional为FLOAT16、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、 antiquantOffsetOptional为空、y为FLOAT16；
- x为BFLOAT16、weight为BFLOAT16、biasOptional为FLOAT32、scaleOptional 为空、offsetOptional为空、antiquantScaleOptional为空、 antiquantOffsetOptional为空、y为BFLOAT16；
- x为FLOAT32、weight为FLOAT32、biasOptional为FLOAT32、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为FLOAT32；
量化场景支持的输入类型为：
- x为INT8、weight为INT8、biasOptional为INT32、scaleOptional为UINT64、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为INT8；
伪量化场景支持的输入类型为：
- x为FLOAT16、weight为INT8、biasOptional为FLOAT16、scaleOptional为空， offsetOptional为空，antiquantScaleOptional为FLOAT16、 antiquantOffsetOptional为FLOAT16、y为FLOAT16；
- x为BFLOAT16、weight为INT8、biasOptional为FLOAT32、scaleOptional为空，offsetOptional为空，antiquantScaleOptional为BFLOAT16、 antiquantOffsetOptional为BFLOAT16、y为BFLOAT16；
- 如果传入groupListOptional，groupListOptional必须为非负递增数列， groupListOptional长度不能为1。

不同groupType支持场景:

量化、伪量化仅支持groupType为-1和0场景。
支持场景中单表示单tensor，多表示多tensor，表示顺序为x、weight、y。例如单多单表示支持x为单tensor、weight多tensor、y单tensor的场景。

groupType	支持场景	场景限制
-1	多多多	1）仅支持splitItem为0/1[object Object]2）x中tensor要求维度一致，支持2-6维，weight 中tensor需为2维，y中tensor维度和x保持一致[object Object]3）groupListOptional必须传空
0	单单单	1）仅支持splitItem为2/3[object Object]2）weight中tensor需为3维，x，y 中tensor需为2维[object Object]3）必须传groupListOptional，且最后一个值与x中tensor的第一维相等
0	单多单	1）仅支持splitItem为2/3[object Object]2）必须传groupListOptional，且最后一个值与x中tensor的第一维相等[object Object]3）x,weight,y中tensor需为2维[object Object]4） weight中每个tensor的N轴必须相等
0	单多多	1）仅支持splitItem为0/1[object Object]2）必须传groupListOptional， groupListOptional的差值需与y中tensor的第一维一一对应[object Object]3）x,weight,y中 tensor需为2维
0	多多单	1）仅支持splitItem为2/3[object Object]2）x,weight,y中tensor需为2维 [object Object]3）weight中每个tensor的N轴必须相等[object Object]4）若传入groupListOptional， groupListOptional的差值需与x中tensor的第一维一一对应
2	单单单	1）仅支持splitItem为2/3[object Object]2）x，weight中tensor需为2维，y 中tensor需为3维[object Object]3）必须传groupListOptional，且最后一个值与x中tensor的第二维相等

x和weight中每一组tensor的最后一维大小都应小于65536。 $x_i$ 的最后一维指当属性transpose_x为false时 $x_i$ 的K轴或当transpose_x为true时 $x_i$ 的M轴。 $weight_i$ 的最后一维指当属性transpose_weight为false时 $weight_i$ 的N轴或当transpose_weight为true时 $weight_i$ 的K轴。
x和weight中每一组tensor的每一维大小在32字节对齐后都应小于int32的最大值2147483647。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

[object Object]