昇腾社区首页
中文
注册
开发者
下载

aclnnBatchNormElemtBackward

产品支持情况

[object Object]undefined

功能说明

  • 算子功能:的反向计算。用于计算输入张量的元素级梯度,以便在反向传播过程中更新模型参数。
  • 计算公式:gradInput=(gradOutsumDycounter)((inputmean)(invstd2(sumDyXmucounter)))invstdweightgradInput = ({gradOut} - \frac{sumDy}{ {counter}}) - ((input - mean) * (invstd^{ 2} * (\frac{sumDyXmu}{ {counter}}))) * invstd * weight

函数原型

每个算子分为,必须先调用“aclnnBatchNormElemtBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小,再调用“aclnnBatchNormElemtBackward”接口执行计算。

  • [object Object]
  • [object Object]

aclnnBatchNormElemtBackwardGetWorkspaceSize

  • 参数说明:

    • gradOut(aclTensor*,计算输入):正向输出的微分,对应公式中的[object Object]。Device侧的aclTensor,shape支持2-8维,shape与[object Object]的shape保持一致,支持,支持空Tensor。支持ND,其中第2维固定为channel轴。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • input(aclTensor*,计算输入):表示进行BatchNorm计算的输入,对应公式中的[object Object]。Device侧的aclTensor,shape支持2-8维,支持,支持空Tensor。支持ND,其中第2维固定为channel轴,且channel轴的size不能为0。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • mean(aclTensor*,计算输入):均值,对应公式中的[object Object]。Device侧的aclTensor,shape支持1维,size需要与input的channel轴的size一致,支持,支持空Tensor。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • invstd(aclTensor*,计算输入):标准差的倒数,对应公式中的[object Object]。Device侧的aclTensor,shape支持1维,size需要与input的channel轴的size一致,支持,支持空Tensor。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • weight(aclTensor*,计算输入):权重,对应公式中的[object Object]。Device侧的aclTensor,shape支持1维,size需要与input的channel轴的size一致,支持,支持空Tensor,为可选参数。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • sumDy(aclTensor*,计算输入):输出梯度的样本均值和的平均值,对应公式中的[object Object]。Device侧的aclTensor,shape支持1维,size需要与input的channel轴的size一致,支持,支持空Tensor。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • sumDyXmu(aclTensor*,计算输入):样本均值和与输入梯度乘积的平均值,对应公式中的[object Object]。Device侧的aclTensor,shape支持1维,size需要与input的channel轴的size一致,支持,支持空Tensor。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • counter(aclTensor*,计算输入):输入数据的数量大小,对应公式中的[object Object]。Device侧的aclTensor,数据类型支持INT32、FLOAT16、FLOAT,支持,支持空Tensor。支持ND。shape不高于8维。

    • gradInput(aclTensor*,计算输出):输出的结果,对应公式中的[object Object]。Device侧的aclTensor,shape支持2-8维,shape需要与input一致,支持,支持空Tensor。支持ND。

      • [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • workspaceSize(uint64_t*,出参):返回需要在Device侧申请的workspace大小。

    • executor(aclOpExecutor**,出参):返回op执行器,包含了算子计算流程。

  • 返回值:

    aclnnStatus:返回状态码,具体参见

    [object Object]

aclnnBatchNormElemtBackward

  • 参数说明:

    • workspace(void*,入参):在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t,入参):在Device侧申请的workspace大小,由第一段接口aclnnBatchNormElemtBackwardGetWorkspaceSize获取。
    • executor(aclOpExecutor*,入参):op执行器,包含了算子计算流程。
    • stream(aclrtStream,入参):指定执行任务的Stream。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

约束说明

无。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]