aclnnQuantMatmulV2
支持的产品型号
- Atlas A2训练系列产品。
接口原型
每个算子分为，必须先调用“aclnnQuantMatmulV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulV2”接口执行计算。
aclnnStatus aclnnQuantMatmulV2GetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *bias, const aclTensor *deqScale, bool adjX1, bool adjX2, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)aclnnStatus aclnnQuantMatmulV2(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)
功能描述
- 算子功能：完成量化的矩阵乘计算，最大支持输入维度为3维。相似接口有aclnnMm(仅支持2维Tensor作为输入的矩阵乘)和aclnnBatchMatMul(仅支持三维的矩阵乘，其中第一维是Batch维度)
- 计算公式：
aclnnQuantMatmulV2GetWorkspaceSize
参数说明：
- x1（const aclTensor*, 计算输入）：公式中的输入x1，device侧的aclTensor，数据类型支持INT8，不支持，支持ND，shape最少是2维，最多是3维，在adjX1为false情况下各个维度表示：（batch，m，k），batch可不存在。
- x2（const aclTensor*, 计算输入）：公式中的输入x2，device侧的aclTensor，数据类型支持INT8，不支持，支持ND，shape最少是2维，最多是3维，在adjX2为false情况下各个维度表示：（batch，k，n），batch可不存在，其中k与x1的shape中的k一致。
- bias（const aclTensor*, 计算输入）：公式中的输入bias，device侧的aclTensor，数据类型支持INT32，支持ND，shape是1维（n，），n与x2的n一致。
- deqScale（const aclTensor*, 计算输入）：公式中的输入depScale，量化参数，device侧的aclTensor，数据类型支持UINT64，支持ND，shape是1维（t，），t = align(n, 16), 其中n与x2的n一致。
- adjX1（bool, 计算输入）：表示x1的输入shape是否包含transpose，默认是false，若为true，x1的shape表示为（batch，k，m），batch可不存在。
- adjX2（bool, 计算输入）：表示x2的输入shape是否包含transpose，默认是false，若为true，x2的shape表示为（batch，n，k），batch可不存在。
- out（aclTensor*, 计算输出）：公式中的输出out，device侧的aclTensor, 数据类型支持FLOAT16, 支持，支持ND，shape最少是2维，最多是3维，（batch，m，n），batch可不存在，支持x1与x2的batch维度broadcast，输出batch与broadcast之后的batch一致，m、n分别与x1的m、x2的n一致。
- workspaceSize(uint64_t*, 出参)：返回用户需要在npu device侧申请的workspace大小。
- executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。
返回值：
[object Object]
aclnnQuantMatmulV2
参数说明：
- workspace(void*, 入参)：在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulV2GetWorkspaceSize获取。
- executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
- stream(aclrtStream, 入参)：指定执行任务的 AscendCL Stream流。
返回值：
约束与限制
无
调用示例
[object Object]