aclnnMatmul

支持的产品型号

• Atlas 推理系列产品。
• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为，必须先调用“aclnnMatmulGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMatmul”接口执行计算。

• aclnnStatus aclnnMatmulGetWorkspaceSize(const aclTensor *self, const aclTensor *mat2, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)

• aclnnStatus aclnnMatmul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能：完成矩阵乘计算, 该接口支持最大6维度输入的broadcast运算。 相似接口有aclnnMm（支持2维Tensor作为输入的矩阵乘）和aclnnBatchMatmul（仅支持三维的矩阵乘，其中第一维为batch）。
• 计算公式：

$$result=self @ mat2$$

aclnnMatmulGetWorkspaceSize

• 参数说明：

  • self（aclTensor*, 计算输入）：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、BFLOAT16（仅Atlas A2训练系列产品/Atlas 800I A2推理产品），且数据类型需要与mat2满足数据类型推导规则（参见）。支持。
  • mat2（aclTensor*, 计算输入）：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、BFLOAT16（仅Atlas A2训练系列产品/Atlas 800I A2推理产品），且数据类型需要与self满足数据类型推导规则（参见）。支持，支持ND且建议与self一致。mat2的Reduce维度需要与self的Reduce维度大小相等。
  • out（aclTensor*, 计算输出）：Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、BFLOAT16（仅Atlas A2训练系列产品/Atlas 800I A2推理产品）且数据类型需要与self与mat2推导之后的数据类型保持一致(参见)(例外：支持self和mat2推导之后的数据类型为FLOAT16,out数据类型FLOAT)，支持ND且需要与self一致。
  • cubeMathType（int8_t，计算输入）：Host侧的整型，判断Cube单元使用哪种计算逻辑进行运算，数据类型支持INT8，支持的枚举值如下：
    • 0：KEEP_DTYPE，保持输入的数据类型进行计算。当输入是FLOAT，Atlas 训练系列产品、Atlas 推理系列产品Cube计算单元暂不支持，取0时会报错。
    • 1：ALLOW_FP32_DOWN_PRECISION，允许将输入数据降精度计算。当输入是FLOAT，Atlas 训练系列产品转换为FLOAT16计算，Atlas A2训练系列产品/Atlas 800I A2推理产品转换为HFLOAT32计算。
    • 2：USE_FP16，允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT，转换为FLOAT16计算。
    • 3：USE_HF32，允许转换为数据类型HFLOAT32计算。当输入是FLOAT，Atlas 训练系列产品、Atlas 推理系列产品Cube计算单元暂不支持，取3时会报错，Atlas A2训练系列产品/Atlas 800I A2推理产品转换为HFLOAT32计算。
  • workspaceSize（uint64_t*, 出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**, 出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  [object Object]

aclnnMatmul

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口 aclnnMatmulGetWorkspaceSize获取。
  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束与限制

对于Atlas 训练系列产品和Atlas 推理系列产品，Cube单元不支持FLOAT32计算。当输入为FLOAT32，可通过设置cubeMathType=1（Allow_FP32_DOWN_PRECISION）来允许接口内部cast到FLOAT16进行计算。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。