昇腾社区首页
中文
注册

aclnnAddmm&aclnnInplaceAddmm

支持的产品型号

  • Atlas 推理系列产品。
  • Atlas 训练系列产品。
  • Atlas A2训练系列产品。

接口原型

  • aclnnAddmm和aclnnInplaceAddmm实现相同的功能,使用区别如下,请根据自身实际场景选择合适的算子。

    • aclnnAddmm:需新建一个输出张量对象存储计算结果。
    • aclnnInplaceAddmm:无需新建输出张量对象,直接在输入张量的内存中存储计算结果。
  • 每个算子分为,必须先调用 “aclnnAddmmGetWorkspaceSize” 或者 “aclnnInplaceAddmmGetWorkspaceSize” 接口获取入参并根据计算流程计算所需workspace大小,再调用 “aclnnAddmm” 或者 “aclnnInplaceAddmm” 接口执行计算。

    • aclnnStatus aclnnAddmmGetWorkspaceSize(const aclTensor *self, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
    • aclnnStatus aclnnAddmm(void *workspace, uint64_t workspaceSize, const aclrtStream stream, aclOpExecutor **executor)
    • aclnnStatus aclnnInplaceAddmmGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
    • aclnnStatus aclnnInplaceAddmm(void *workspace, uint64_t workspaceSize, const aclrtStream stream, aclOpExecutor **executor)

功能描述

  • 算子功能:计算α 乘以mat1与mat2的乘积,再与β和self的乘积求和。
  • 计算公式:
out=βself+α(mat1@mat2)out = β self + α (mat1 @ mat2)

aclnnAddmmGetWorkspaceSize

  • 参数说明:

    • self:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持

),且数据类型需要与mat1@mat2mat1@mat2构成互相推导关系,shape需要与 mat1@mat2mat1@mat2 满足broadcast关系。支持支持ND。

  • mat1:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self,mat2构成互相推导关系,shape需要满足与mat2相乘条件。支持支持ND。
  • mat2:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self,mat1构成互相推导关系,shape需要满足与mat1相乘条件。支持支持ND。
  • beta:Host侧的aclScalar,默认为1。
  • alpha:Host侧的aclScalar,默认为1。
  • out:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self构成互相推导关系,shape需要与self以及 mat1@mat2mat1@mat2 一致,支持ND。
  • cubeMathType(int8_t *,计算输入): Host侧的整型,判断Cube单元应该使用那种计算逻辑进行运算,数据类型支持INT8,具体的枚举值如下:
    • 0:KEEP_DTYPE,保持输入的数据类型进行计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取0时会报错。
    • 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。当输入是FLOAT,Atlas 训练系列产品转换为FLOAT16计算,Atlas A2训练系列产品转换为HFLOAT32计算。
    • 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT,转换为FLOAT16计算。
    • 3:USE_HF32,允许转换为数据类型HFLOAT32计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取3时会报错,Atlas A2训练系列产品转换为HFLOAT32计算。
  • workspaceSize:返回用户需要在Device侧申请的workspace大小。
  • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

[object Object]

aclnnAddmm

  • 参数说明:

    • workspace:在Device侧申请的workspace内存地址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAddGetWorkspaceSize获取。
    • stream:指定执行任务的 AscendCL Stream流。
    • executor:op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

aclnnInplaceAddmmGetWorkspaceSize

  • 参数说明:

    • selfRef:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持

),且数据类型需要与mat1@mat2mat1@mat2构成互相推导关系,shape需要与 mat1@mat2mat1@mat2 满足broadcast关系。支持支持ND。

  • mat1:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与selfRef,mat2构成互相推导关系,shape需要满足与mat2相乘条件。支持支持ND。
  • mat2:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与selfRef,mat1构成互相推导关系,shape需要满足与mat1相乘条件。支持支持ND。
  • beta:Host侧的aclScalar,默认为1。
  • alpha:Host侧的aclScalar,默认为1。
  • cubeMathType(int8_t *,计算输入): Host侧的整型,判断Cube单元应该使用那种计算逻辑进行运算,数据类型支持INT8,具体的枚举值如下:
    • 0:KEEP_DTYPE,保持输入的数据类型进行计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取0时会报错。
    • 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。当输入是FLOAT,Atlas 训练系列产品转换为FLOAT16计算,Atlas A2训练系列产品转换为HFLOAT32计算。
    • 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT,转换为FLOAT16计算。
    • 3:USE_HF32,允许转换为数据类型HFLOAT32计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取3时会报错,Atlas A2训练系列产品转换为HFLOAT32计算。
  • workspaceSize:返回用户需要在Device侧申请的workspace大小。
  • executor:返回op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

[object Object]

aclnnInplaceAddmm

  • 参数说明:

    • workspace:在Device侧申请的workspace内存地址。
    • workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnInplaceAddmmGetWorkspaceSize获取。
    • stream:指定执行任务的 AscendCL Stream流。
    • executor:op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

约束与限制

对于Atlas 训练系列产品,Cube单元不支持FLOAT32计算。当输入为FLOAT32,可通过设置cubeMathType=1(ALLOW_FP32_DOWN_PRECISION)来允许接口内部cast到FLOAT16进行计算。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]