aclnnGemm

支持的产品型号

• Atlas 推理系列产品。
• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnGemmGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnGemm”接口执行计算。

• aclnnStatus aclnnGemmGetWorkspaceSize(const aclTensor *A, const aclTensor *B, const aclTensor *C, float alpha, float beta, int64_t transA, int64_t transB, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnGemm(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能：计算α 乘以A与B的乘积，再与β 和input C的乘积求和。
• 计算公式：$$out = α (A @ B) + β C$$ 若transA非零，计算前会将A进行转置；同样的，若transB非零，会将B进行转置。 若transA与transB都为非零：$$out = α (A^T @ B^T) + βC$$

aclnnGemmGetWorkspaceSize

• 参数说明：

  • A(aclTensor*, 计算输入)：公式中的输入A，Device侧的aclTensor，数据类型支持FLOAT16, FLOAT，BFLOAT16，且数据类型需要与C，B构成互相推导关系，维度支持两维，shape（或者转置后shape）需要满足与B相乘条件。支持undefined，undefined支持ND。其中BFLOAT16仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持。
  • B(aclTensor*, 计算输入)：公式中的输入B，Device侧的aclTensor，数据类型支持FLOAT16, FLOAT，BFLOAT16，且数据类型需要与C，A构成互相推导关系，维度支持两维，shape（或者转置后shape）需要满足与A相乘条件。支持undefined，undefined支持ND。其中BFLOAT16仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持。
  • C(aclTensor*, 计算输入)：公式中的输入C，Device侧的aclTensor，数据类型支持FLOAT16, FLOAT，BFLOAT16，且数据类型需要与AB计算后的结果构成互相推导关系，维度支持两维，shape需要与AB计算后的结果 一致。支持undefined，undefined支持ND。其中BFLOAT16仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持。
  • alpha(float*, 计算输入)：公式中的输入α，Host侧的浮点型，表示A和B乘积的系数。
  • beta(float*, 计算输入)：公式中的输入β，Host侧的浮点型，表示C的系数。
  • transA(int64_t*, 计算输入)：公式中的输入transA，Host侧的整型，表示矩阵A是否需要转置，非零表示转置，零表示不需要转置。
  • transB(int64_t*, 计算输入)：公式中的输入transB，Host侧的整型，表示矩阵B是否需要转置，非零表示转置，零表示不需要转置。
  • out(aclTensor*, 计算输出)：公式中的out，Device侧的aclTensor，数据类型支持FLOAT16，FLOAT，BFLOAT16，且数据类型需要与C构成互相推导关系，维度支持两维，shape需要与C以及AB计算后的结果一致。支持undefined，undefined支持ND。其中BFLOAT16仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持。
  • cubeMathType（int8_t, 计算输入）：Host侧的整型，判断Cube单元应使用哪种计算逻辑进行运算。数据类型支持INT8，支持的枚举值如下：
    • 0：KEEP_DTYPE，保持输入数据类型进行计算，若输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，该值为0时会报错。
    • 1：ALLOW_FP32_DOWN_PRECISION，允许转换输入数据类型降低精度计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品允许转换为FLOAT16计算，Atlas A2训练系列产品/Atlas 800I A2推理产品允许转换为HFLOAT32计算。
    • 2：USE_FP16，允许转换输入数据类型至FLOAT16计算。当输入是FLOAT，允许转换为FLOAT16计算。
    • 3：USE_HF32，允许转换输入数据类型至HFLOAT32计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，取3时会报错。
  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

aclnnGemm

• 参数说明：

  • workspace（void*, 入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t, 入参）：在Device侧申请的workspace大小，由第一段接口aclnnGemmGetWorkspaceSize获取。
  • executor（aclOpExecutor*, 入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream, 入参）：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束与限制

• 对于Atlas 训练系列产品和Atlas 推理系列产品，Cube单元不支持FLOAT32计算。当输入为FLOAT32，可通过设置cubeMathType=1（ALLOW_FP32_DOWN_PRECISION）来允许接口内部cast到FLOAT16进行计算.

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。