aclnnGroupedMatmulV3
支持的产品型号
- Atlas A2训练系列产品/Atlas 800I A2推理产品
- Atlas 推理系列产品
接口原型
每个算子分为undefined,必须先调用“aclnnGroupedMatmulV3GetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnGroupedMatmulV3”接口执行计算。
aclnnStatus aclnnGroupedMatmulV3GetWorkspaceSize(const aclTensorList* x, const aclTensorList* weight, const aclTensorList* biasOptional, const aclTensorList* scaleOptional, const aclTensorList* offsetOptional, const aclTensorList* antiquantScaleOptional, const aclTensorList* antiquantOffsetOptional, const aclTensor* groupListOptional, int64_t splitItem, int64_t groupType, const aclTensorList* y, uint64_t* workspaceSize, aclOpExecutor** executor)
aclnnStatus aclnnGroupedMatmulV3(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)
功能描述
算子功能:实现分组矩阵乘计算,每组矩阵乘的维度大小可以不同。基本功能为矩阵乘,如,其中g为分组个数,为应对shape。输入输出数据类型均为aclTensorList,支持aclTensorList长度为1,对应的功能为:
- k轴分组:各不相同,但每组相同,此时可以在上拼接,对应aclTensorList长度为1。
- m轴分组:各组相同,可以在上拼接。
- n轴分组:各组相同,分别可以在上拼接。
相较于undefined接口,此接口新增: - 支持m轴和k轴分组,由groupType表示。 - 非量化场景,支持weight转置(转置指若shape为[M,K]时,则stride为[1,M],数据排布为[K,M]的场景)。 - x、weight、y都为单tensor非量化场景支持x,weight输入都为float32类型。 - 量化、伪量化场景,支持weight转置,支持weight为单tensor。 - 对于undefined接口支持的特性,该接口不支持x为单tensor,weight/y为多tensor场景。
- 计算公式:
- 非量化场景:
- 量化场景:
- 反量化场景:
- 伪量化场景:
aclnnGroupedMatmulV3GetWorkspaceSize
参数说明:
- x(aclTensorList*,计算输入):必选参数,Device侧的aclTensorList,公式中的输入x,数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32,undefined支持ND,支持的最大长度为128个。
- weight(aclTensorList*,计算输入):必选参数,Device侧的aclTensorList,公式中的weight,数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32,undefined支持ND,支持的最大长度为128个。
- biasOptional(aclTensorList*,计算输入)可选参数,Device侧的aclTensorList,公式中的bias,数据类型支持FLOAT16、FLOAT32、INT32,undefined支持ND,长度与weight相同。
- scaleOptional(aclTensorList*,计算输入)可选参数,Device侧的aclTensorList,代表量化参数中的缩放因子,数据类型支持UINT64,undefined支持ND,长度与weight相同。
- offsetOptional(aclTensorList*,计算输入)可选参数,Device侧的aclTensorList,代表量化参数中的偏移量,数据类型支持FLOAT32,undefined支持ND,长度与weight相同。
- antiquantScaleOptional(aclTensorList*,计算输入)可选参数,Device侧的aclTensorList,代表伪量化参数中的缩放因子,数据类型支持FLOAT16、BFLOAT16,undefined支持ND,长度与weight相同。
- antiquantOffsetOptional(aclTensorList*,计算输入)可选参数,Device侧的aclTensorList,代表伪量化参数中的偏移量,数据类型支持FLOAT16、BFLOAT16,undefined支持ND,长度与weight相同。
- groupListOptional(aclTensor*,计算输入):可选参数,Host侧的aclTensor类型,代表输入和输出分组轴方向的matmul大小分布,数据类型支持INT64,undefined支持ND。
- splitItem(int64_t,计算输入):整数型参数,代表输出是否要做tensor切分,0/1代表输出为多tensor;2/3代表输出为单tensor,默认值为0。
- groupType(int64_t,计算输入):整数型参数,代表需要分组的轴,如矩阵乘为C[m,n]=A[m,k]xB[k,n],则groupType取值-1:不分组,0:m轴分组,1:n轴分组,2:k轴分组,默认值为-1,当前不支持n轴分组。
- y(aclTensorList*,计算输出):Device侧的aclTensorList,公式中的输出y,数据类型支持FLOAT16、BFLOAT16、INT8、FLOAT32,undefined支持ND,支持的最大长度为128个。
- workspaceSize(uint64_t*,出参):返回需要在Device侧申请的workspace大小。
- executor(aclOpExecutor**,出参):返回op执行器,包含了算子计算流程。
返回值:
返回aclnnStatus状态码,具体参见undefined。
[object Object]
aclnnGroupedMatmulV3
参数说明:
- workspace(void*,入参):在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t,入参):在Device侧申请的workspace大小,由第一段接口aclnnGroupedMatmulV3GetWorkspaceSize获取。
- executor(aclOpExecutor*,入参):op执行器,包含了算子计算流程。
- stream(aclrtStream,入参):指定执行任务的AscendCL stream流。
返回值:
返回aclnnStatus状态码,具体参见undefined。
约束与限制
非量化场景支持的输入类型为:
- x为FLOAT16、weight为FLOAT16、biasOptional为FLOAT16、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为FLOAT16;
- x为BFLOAT16、weight为BFLOAT16、biasOptional为FLOAT32、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为BFLOAT16;
- x为FLOAT32、weight为FLOAT32、biasOptional为FLOAT32、scaleOptional为空、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为FLOAT32(仅x、weight、y都为单tensor场景支持);
量化场景支持的输入类型为:
- x为INT8、weight为INT8、biasOptional为INT32、scaleOptional为UINT64、offsetOptional为空、antiquantScaleOptional为空、antiquantOffsetOptional为空、y为INT8;
伪量化场景支持的输入类型为:
- x为FLOAT16、weight为INT8、biasOptional为FLOAT16、scaleOptional为空,offsetOptional为空,antiquantScaleOptional为FLOAT16、antiquantOffsetOptional为FLOAT16、y为FLOAT16;
- x为BFLOAT16、weight为INT8、biasOptional为FLOAT32、scaleOptional为空,offsetOptional为空,antiquantScaleOptional为BFLOAT16、antiquantOffsetOptional为BFLOAT16、y为BFLOAT16;
在Atlas 推理系列产品上运行时,输入输出只支持float16的数据类型,输出y的n轴大小需要是16的倍数。
如果传入groupListOptional,groupListOptional必须为非负递增数列,groupListOptional长度不能为1。
不同groupType支持场景:
- 量化、伪量化仅支持groupType为-1和0场景。
- 支持场景中单表示单tensor,多表示多tensor,表示顺序为x,weight,y,例如单多单表示支持x为单tensor,weight多tensor,y单tensor的场景。
groupType 支持场景 场景限制 -1 多多多 1)仅支持splitItem为0/1[object Object]2)x中tensor支持2-6维,weight中tensor需为2维,y中tensor维度和x保持一致[object Object]3)groupListOptional必须传空 0 单单单 1)仅支持splitItem为2/3[object Object]2)weight中tensor需为3维,x,y中tensor需为2维[object Object]3)必须传groupListOptional,且最后一个值与x中tensor的第一维相等[object Object]4)groupListOptional最大长度为1024 0 单多单 1)仅支持splitItem为2/3[object Object]2)必须传groupListOptional,且最后一个值与x中tensor的第一维相等,长度最大为128[object Object]3)x,weight,y中tensor需为2维[object Object]4)weight中每个tensor的N轴必须相等 0 多多单 1)仅支持splitItem为2/3[object Object]2)x,weight,y中tensor需为2维[object Object]3)weight中每个tensor的N轴必须相等[object Object]4)若传入groupListOptional,groupListOptional的差值需与x中tensor的第一维一一对应,且长度最大为128 2 单单单 1)仅支持splitItem为2/3[object Object]2)x,weight中tensor需为2维,y中tensor需为3维[object Object]3)必须传groupListOptional,且最后一个值与x中tensor的第二维相等[object Object]4)groupListOptional最大长度为1024 其中Atlas 推理系列产品仅支持x为单tensor,weight为单tensor,y为单tensor,且groupType为0的转置与非转置场景。
x和weight中每一组tensor的最后一维大小都应小于65536。的最后一维指当属性transpose_x为false时的K轴或当transpose_x为true时的M轴。的最后一维指当属性transpose_weight为false时的N轴或当transpose_weight为true时的K轴。
x和weight中每一组tensor的每一维大小在32字节对齐后都应小于int32的最大值2147483647。
调用示例
示例代码如下,仅供参考,具体编译和执行过程请参考undefined。