aclnnBatchMatmulQuant

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品。

接口原型

每个算子分为，必须先调用“aclnnBatchMatmulQuantGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchMatmulQuant”接口执行计算。

• aclnnStatus aclnnBatchMatmulQuantGetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, aclTensor *quantParam, const aclTensor *bias, bool transposeX1, bool transposeX2, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnBatchMatmulQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能： 实现输入Tensor的dtype是float16, 输出的dtype是int8的矩阵乘计算

• 计算公式：

  $$out = Quant(x1@x2 + bias)$$

aclnnBatchMatmulQuantGetWorkSpaceSize

• 参数说明：

  • x1(const aclTensor *, 计算输入): 公式中的输入x1, 数据类型支持float16. 支持, 维度支持2维。
  • x2(const aclTensor *, 计算输入): 经处理能得到公式中的输入x2, 数据类型支持float16. 支持, 维度支持2维。
  • bias(const aclTensor *, 计算输入): 公式中的输入bias, 数据类型支持float16. 支持, 维度只支持一维. shape的大小等于输出tensor(out)最后一个维度的大小. 可以为空.
  • quantParam(const aclTensor *, 计算输入): 硬件完成量化计算的量化参数, 可以通过aclnnTransQuantParam接口获取, 数据类型支持uint64, 支持NC1HWC0. 支持. 维度只支持一维, shape的大小(即元素个数)需要满足以下场景中任意一种:
    1. shape的大小为1
    2. shape的大小等于输出tensor(out)最后一个维度的大小
    3. shape的大小等于输出tensor(out)最后一个维度的大小向上对齐到16的倍数
  • transposeX1(bool, 计算输入): 用于描述x1是否转置
  • transposeX2(bool, 计算输入): 用于描述x2是否转置
  • out(aclTensor *, 计算输出): 输出Tensor，是Device侧aclTensor。数据类型支持int8. 支持ND，与x1保持一致。
  • workspaceSize(uint64_t *, 出参): 返回用户需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor **, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

  [object Object]

aclnnBatchMatmulQuant

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnBatchMatmulQuantGetWorkSpaceSize获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参): 指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

约束与限制

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。