昇腾社区首页
中文
注册

aclnnBaddbmm&aclnnInplaceBaddbmm

产品支持情况

产品 是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]
[object Object]Atlas 200I/500 A2 推理产品[object Object] ×
[object Object]Atlas 推理系列产品 [object Object]
[object Object]Atlas 训练系列产品[object Object]

功能说明

  • 算子功能: 计算α与batch1、batch2的矩阵乘结果的乘积,再与β和self的乘积求和。 注意:batch1、batch2必须是三维Tensor,两个shape不支持做broadcast; self必须要支持和batch1@batch2的结果做broadcast。(broadcast,广播机制,是指较小的shape扩展至较大的shape,使两者shape互相兼容,当前仅支持(1,n)的broadcast,即两个Tensor对应的每一维度必须相同或其中一个为1。)

  • 计算公式:

    out=βself+α(batch1@batch2)out = βself+α(batch1@batch2)

    注意:如果β为0,则self会被忽略,不参与计算。

  • 示例:

    self的shape是[1, M, K], batch1@batch2的shape是[A, M, 1],计算输出out的shape是[A, M, K]。每一维度的数字需要相同或其中一个为1。此处若self的shape是[2, M, K],则不满足broadcast条件,报错。

函数原型

  • aclnnBaddbmm和aclnnInplaceBaddbmm实现相同的功能,使用区别如下,请根据自身实际场景选择合适的算子。

    • aclnnBaddbmm:需新建一个输出张量对象存储计算结果。
    • aclnnInplaceBaddbmm:无需新建输出张量对象,直接在输入张量的内存中存储计算结果。
  • 每个算子分为undefined,必须先调用“aclnnBaddbmmGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小,再调用“aclnnBaddbmm”接口执行计算。

    • aclnnStatus aclnnBaddbmmGetWorkspaceSize(const aclTensor* self, const aclTensor* batch1, const aclTensor* batch2, const aclScalar* beta, const aclScalar* alpha, aclTensor* out, int8_t cubeMathType, uint64_t* workspaceSize, aclOpExecutor** executor)
    • aclnnStatus aclnnBaddbmm(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)
    • aclnnStatus aclnnInplaceBaddbmmGetWorkspaceSize(const aclTensor* selfRef, const aclTensor* batch1, const aclTensor* batch2, const aclScalar* beta, const aclScalar* alpha, int8_t cubeMathType, uint64_t* workspaceSize, aclOpExecutor** executor)
    • aclnnStatus aclnnInplaceBaddbmm(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

aclnnBaddbmmGetWorkspaceSize

  • 参数说明:

    • self(aclTensor*, 计算输入): Device侧的aclTensor, 数据类型需要与batch1@batch2后的二维数据满足数据类型推导规则(参见undefinedundefined)。 shape需要与batch1@batch2满足undefined。(注意:只能是self通过broadcast变成和batch1@batch2一样的shape,不可以batch1@batch2通过broadcast变成和self的shape一样。举例:self:[2, 3, 5],batch1@batch2:[1, 1, 1],会报错。)支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • batch1(aclTensor*, 计算输入): Device侧的aclTensor,数据类型与self、batch2的数据类型需满足数据类型推导规则(参见undefinedundefined),shape需要与batch2满足bmm输入约束关系。支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • batch2(aclTensor*, 计算输入): Device侧的aclTensor,数据类型与self、batch2的数据类型需满足数据类型推导规则(参见undefinedundefined),shape需要与batch1满足bmm输入约束关系。支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • beta(aclScalar*,计算输入): 公式中的输入β,Host侧的aclScalar。数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,且数据类型需要可转换成self与batch1@batch2推导后的数据类型(参见undefinedundefined)。
    • alpha(aclScalar*,计算输入):公式中的输入α,Host侧的aclScalar。数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,且数据类型需要可转换成self与batch1@batch2推导后的数据类型(参见undefinedundefined)。
    • out(aclTensor *, 计算输出): Device侧的aclTensor,数据类型与self、batch1@batch2推导后的数据类型满足数据类型推导原则(参见undefinedundefined),undefinedundefined支持ND,format需要与self、batch1@batch2保持一致。out的shape需要与batch1@batch2的结果shape保持一致。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • cubeMathType(INT8,计算输入):用于指定Cube单元的计算逻辑,Host侧的整型。数据类型支持INT8。注意:如果输入的数据类型存在互推导关系,该参数默认对互推导后的数据类型进行处理。支持的枚举值如下:
      • 0:KEEP_DTYPE,保持输入的数据类型进行计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入数据类型为FLOAT32时不支持该选项。
      • 1:ALLOW_FP32_DOWN_PRECISION,支持将输入数据降精度计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为FLOAT16计算。当输入为其他数据类型时不做处理。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为HFLOAT32计算。当输入为其他数据类型时不做处理。
      • 2:USE_FP16,支持将输入降精度至FLOAT16计算。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为BFLOAT16时不支持该选项。
      • 3:USE_HF32,支持将输入降精度至数据类型HFLOAT32计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:不支持该选项。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为HFLOAT32计算。当输入为其他数据类型时不支持该选项。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

    [object Object]

aclnnBaddbmm

  • 参数说明:

    • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小,由第一段接口aclnnBaddbmmGetWorkspaceSize获取。
    • executor(aclOpExecutor *, 入参): op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参): 指定执行任务的Stream。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

aclnnInplaceBaddbmmGetWorkspaceSize

  • 参数说明:

    • selfRef(aclTensor*, 计算输入/输出): Device侧的aclTensor, 数据类型需要与batch1@batch2后的二维数据满足数据类型推导规则(参见undefinedundefined)。shape需要与batch1@batch2一致,支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • batch1(aclTensor*, 计算输入): Device侧的aclTensor,数据类型与self、batch2的数据类型需满足数据类型推导规则(参见undefinedundefined),shape需要与batch1满足bmm输入约束关系。支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • batch2(aclTensor*, 计算输入): Device侧的aclTensor,数据类型与self、batch2的数据类型需满足数据类型推导规则(参见undefinedundefined),shape需要与batch2满足bmm输入约束关系。支持undefined,支持空Tensor传入,undefined支持ND。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • beta(aclScalar*,计算输入): 公式中的输入β,Host侧的aclScalar。数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,且数据类型需要可转换成self与batch1@batch2推导后的数据类型(参见undefinedundefined)。
    • alpha(aclScalar*,计算输入):公式中的输入α,Host侧的aclScalar。数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL,且数据类型需要可转换成self与batch1@batch2推导后的数据类型(参见undefinedundefined)。
    • out(aclTensor *, 计算输出): Device侧的aclTensor,数据类型与self、batch1@batch2推导后的数据类型满足数据类型推导原则(参见undefinedundefined),undefinedundefined支持ND,format需要与self、batch1@batch2保持一致。out的shape需要与batch1@batch2的结果shape保持一致。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT16、FLOAT32。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持BFLOAT16、FLOAT16、FLOAT32.
    • cubeMathType(INT8,计算输入):用于指定Cube单元的计算逻辑,Host侧的整型。数据类型支持INT8。注意:如果输入的数据类型存在互推导关系,该参数默认对互推导后的数据类型进行处理。支持的枚举值如下:
      • 0:KEEP_DTYPE,保持输入的数据类型进行计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入数据类型为FLOAT32时不支持该选项。
      • 1:ALLOW_FP32_DOWN_PRECISION,支持将输入数据降精度计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为FLOAT16计算。当输入为其他数据类型时不做处理。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为HFLOAT32计算。当输入为其他数据类型时不做处理。
      • 2:USE_FP16,支持将输入降精度至FLOAT16计算。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为BFLOAT16时不支持该选项。
      • 3:USE_HF32,支持将输入降精度至数据类型HFLOAT32计算。
        • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:不支持该选项。
        • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:当输入数据类型为FLOAT32时,会转换为HFLOAT32计算。当输入为其他数据类型时不支持该选项。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

[object Object]

aclnnInplaceBaddbmm

  • 参数说明:

    • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小,由第一段接口aclnnInplaceBaddbmmGetWorkspaceSize获取。
    • executor(aclOpExecutor *, 入参): op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参): 指定执行任务的Stream。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

约束说明

  • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:Cube单元不支持FLOAT32计算。当输入为FLOAT32,可通过设置cubeMathType=1(ALLOW_FP32_DOWN_PRECISION)来允许接口内部cast到FLOAT16进行计算。
  • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:不支持batch1和batch2两输入其中一个输入为BFLOAT16, 另一个输入为FLOAT或FLOAT16的数据类型推导。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考undefined

[object Object]