aclnnBatchNormBackward

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

• 算子功能：undefined的反向传播。用于计算输入张量的梯度，以便在反向传播过程中更新模型参数。

• 计算公式：

  • 当training为true时：

    $$gradInput = \frac{weight}{ n{\sqrt{saveVar + ε}} }(n * gradOut - \sum^m_{i=0}{gradOut} - \frac{x-saveMean}{ {\sqrt{saveVar + ε}} }\sum^m_{i=0}({gradOut} *\frac{x-saveMean}{ {\sqrt{saveVar + ε}} } ))$$ $$gradWeight = \sum^m_{i=0}[{gradOut} * (x - saveMean)] * \frac{1}{ {\sqrt{saveVar + ε}} }$$ $$gradBias = \sum^m_{i=0}{gradOut}$$

  • 当training为false时：

    $$gradInput = gradOut * \frac{1}{ {\sqrt{runningVar + ε}} } * weight$$ $$gradWeight = \sum^m_{i=0}[{gradOut} * (x - runningMean)] * \frac{1}{ {\sqrt{runningVar + ε}} }$$ $$gradBias = \sum^m_{i=0}{gradOut}$$

函数原型

每个算子分为undefined，必须先调用“aclnnBatchNormBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormBackward”接口执行计算。

• aclnnStatus aclnnBatchNormBackwardGetWorkspaceSize(const aclTensor *gradOut, const aclTensor *input, const aclTensor *weight, const aclTensor *runningMean, const aclTensor *runningVar, const aclTensor *saveMean, const aclTensor *saveInvstd, bool training, double eps, const aclBoolArray *outputMask, aclTensor *gradInput, aclTensor *gradWeight, aclTensor *gradBias, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnBatchNormBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

aclnnBatchNormBackwardGetWorkspaceSize

• 参数说明：

  • gradOut（aclTensor*，计算输入）：梯度Tensor，Device侧的aclTensor，对应公式中的gradOut。支持undefined，支持空Tensor。支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • input（aclTensor*，计算输入）：正向的输入Tensor，Device侧的aclTensor，对应公式中的x。数据类型、shape、数据格式均需要与gradOut保持一致，支持undefined，支持空Tensor。支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • weight（aclTensor*，计算输入）：权重Tensor，Device侧的aclTensor，对应公式中的weight。支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

  • runningMean（aclTensor*，计算输入）：训练期间计算的平均值，Device侧的aclTensor，对应公式中的runningMean。支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

  • runningVar（aclTensor*，计算输入）：训练期间计算的方差，Device侧的aclTensor，对应公式中的runningVar。数值为非负数，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

  • saveMean（aclTensor*，计算输入）：保存的均值，Device侧的aclTensor，对应公式中的saveMean。支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
    • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

  • saveInvstd（aclTensor*，计算输入）：保存的标准差的倒数，Device侧的aclTensor，对应公式中的$\frac{1}{ {\sqrt{saveVar + ε}} }$。数值为非负数，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

  • training（bool，计算输入）：Host侧的bool值，对应公式中的training。标记是否训练场景，true表示训练场景，false表示推理场景。

  • eps（double，计算输入）：Host侧的double值。对应公式中的ε。添加到方差中的值，以避免出现除以零的情况。

  • outputMask（aclBoolArray *，计算输入）：Host侧的aclBoolArray，输出的掩码，size大小为3。分别表示是否输出gradInput, gradWeight, gradBias，若为true则输出，否则输出对应位置返回空。

  • gradInput（aclTensor *，出参）：可选输出，对应公式中的gradInput。若outputMask[0]为True，则需要输出，否则不输出；输入Tensor的梯度，Device侧的aclTensor，数据类型、shape、数据格式均需要与gradOut保持一致，支持undefined，支持空Tensor。支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • gradWeight（aclTensor *，出参）：可选输出，对应公式中的gradWeight。若outputMask[1]为True，则需要输出，否则不输出；缩放参数的梯度，Device侧的aclTensor，支持undefined，支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与weight的数据类型一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与weight的数据类型一致。

  • gradBias（aclTensor *，出参）：可选输出，对应公式中的gradBias。若outputMask[2]为True，则需要输出，否则不输出；偏置参数的梯度，Device侧的aclTensor，数据类型需要与gradWeight的数据类型一致，支持undefined，支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • workspaceSize（uint64_t *，出参）：返回需要在Device侧申请的workspace大小。

  • executor（aclOpExecutor **，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnBatchNormBackward

• 参数说明：

  • workspace（void *，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnBatchNormBackwardGetWorkspaceSize获取。
  • executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。