昇腾社区首页
中文
注册

aclnnMatmul

支持的产品型号

  • Atlas 推理系列产品。
  • Atlas 训练系列产品。
  • Atlas A2训练系列产品。

接口原型

每个算子分为,必须先调用“aclnnMatmulGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMatmul”接口执行计算。

  • aclnnStatus aclnnMatmulGetWorkspaceSize(const aclTensor *self, const aclTensor *mat2, const aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)

  • aclnnStatus aclnnMatmul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

  • 算子功能:完成矩阵乘计算, 该接口支持最大6维度输入的broadcast运算。 相似接口有aclnnMm(支持2维Tensor作为输入的矩阵乘)和aclnnBatchMatmul(仅支持三维的矩阵乘,其中第一位为batch)。
  • 计算公式:
result=self@mat2result=self @ mat2

aclnnMatmulGetWorkspaceSize

  • 参数说明:

    • self(aclTensor*, 计算输入):Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、BFLOAT16(仅Atlas A2训练系列产品支持

),且数据类型需要与mat2满足数据类型推导规则(参见)。支持

  • mat2(aclTensor*, 计算输入):Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self满足数据类型推导规则(参见)。支持支持ND且建议与self一致。mat2的Reduce维度需要与self的Reduce维度大小相等。

  • out(aclTensor*, 计算输出):Device侧的aclTensor,数据类型支持FLOAT、FLOAT16、BFLOAT16(仅Atlas A2训练系列产品支持 )且数据类型需要是self与other推导之后可转换的数据类型(参见),支持ND且需要与self一致。

  • cubeMathType(int8_t,计算输入):Host侧的整型,判断Cube单元使用哪种计算逻辑进行运算,数据类型支持INT8,支持的枚举值如下:

    • 0:KEEP_DTYPE,保持输入的数据类型进行计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取0时会报错。
    • 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。当输入是FLOAT,Atlas 训练系列产品转换为FLOAT16计算,Atlas A2训练系列产品转换为HFLOAT32计算。
    • 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT,转换为FLOAT16计算。
    • 3:USE_HF32,允许转换为数据类型HFLOAT32计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取3时会报错,Atlas A2训练系列产品转换为HFLOAT32计算。
  • workspaceSize(uint64_t*, 出参):返回用户需要在Device侧申请的workspace大小。

  • executor(aclOpExecutor**, 出参):返回op执行器,包含了算子计算流程。

  • 返回值:

    aclnnStatus:返回状态码,具体参见

    [object Object]

aclnnMatmul

  • 参数说明:

    • workspace(void*, 入参):在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参):在Device侧申请的workspace大小,由第一段接口 aclnnMatmulGetWorkspaceSize获取。
    • executor(aclOpExecutor*, 入参):op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参):指定执行任务的 AscendCL Stream流。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

约束与限制

无。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]