昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

aclnnBatchNormBackward

支持的产品型号

  • [object Object]Atlas 训练系列产品[object Object]。
  • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]。
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]。

功能说明

  • 算子功能： 正则化反向计算。
  • 计算公式：∂l∂x^i=∂l∂yi⋅γ\frac{\partial l}{\partial \hat{x}_i} = \frac{\partial l}{\partial y_i} \cdot γ ∂l∂σB2=∑i=0m∂l∂x^i⋅(xi−μB)⋅−12(σB2+ε)−3/2\frac{\partial l}{\partial σ^2_B} = \sum^m_{i=0}\frac{\partial l}{\partial \hat{x}_i} \cdot (x_i-μ_B) \cdot \frac{-1}{2}(σ^2_B + ε)^{-3/2} ∂l∂μB=(∑i=0m∂l∂x^i⋅−1σB2+ε)+∂l∂σB2⋅∑i=0m−2(xi−μB)m\frac{\partial l}{\partial μ_B} = (\sum^m_{i=0}\frac{\partial l}{\partial \hat{x}_i} \cdot \frac{-1}{\sqrt{σ^2_B + ε}}) + \frac{\partial l}{\partial σ^2_B} \cdot \frac{\sum^m_{i=0}-2(x_i-μ_B)}{m} ∂l∂xi=∂l∂x^i⋅1σB2+ε+∂l∂σB2⋅2(xi−μB)m+∂l∂μB⋅1m\frac{\partial l}{\partial x_i} = \frac{\partial l}{\partial \hat{x}_i} \cdot \frac{1}{\sqrt{σ^2_B + ε}} + \frac{\partial l}{\partial σ^2_B} \cdot \frac{2(x_i-μ_B)}{m} + \frac{\partial l}{\partial μ_B} \cdot \frac{1}{m} ∂l∂γ=∑i=0m∂l∂yi⋅x^\frac{\partial l}{\partial γ} = \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot \hat{x} ∂l∂β=∑i=0m∂l∂yi\frac{\partial l}{\partial β} = \sum^m_{i=0} \frac{\partial l}{\partial y_i}

函数原型

每个算子分为undefined，必须先调用“aclnnBatchNormBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormBackward”接口执行计算。

  • aclnnStatus aclnnBatchNormBackwardGetWorkspaceSize(const aclTensor *gradOut, const aclTensor *input, const aclTensor *weight, const aclTensor *runningMean, const aclTensor *runningVar, const aclTensor *saveMean, const aclTensor *saveInvstd, bool training, double eps, const aclBoolArray *outputMask, aclTensor *gradInput, aclTensor *gradWeight, aclTensor *gradBias, uint64_t *workspaceSize, aclOpExecutor **executor)
  • aclnnStatus aclnnBatchNormBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

aclnnBatchNormBackwardGetWorkspaceSize

  • 参数说明：

    • gradOut（aclTensor*，计算输入）：梯度Tensor，Device侧的aclTensor，支持undefined，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

    • input（aclTensor*，计算输入）：正向的输入Tensor，Device侧的aclTensor，数据类型、shape、数据格式均需要与gradOut保持一致，支持undefined，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

    • weight（aclTensor*，计算输入）：权重Tensor，Device侧的aclTensor，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

    • runningMean（aclTensor*，计算输入）：训练期间计算的平均值，Device侧的aclTensor，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

    • runningVar（aclTensor*，计算输入）：训练期间计算的方差，Device侧的aclTensor，数值为非负数，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

    • saveMean（aclTensor*，计算输入）：保存的均值，Device侧的aclTensor，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
      • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

    • saveInvstd（aclTensor*，计算输入）：保存的标准差的倒数，Device侧的aclTensor，数值为非负数，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与gradOut的数据类型一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与gradOut的数据类型一致。

    • training（bool，计算输入）：Host侧的bool值，标记是否训练场景，true表示训练场景，false表示推理场景。

    • eps（double，计算输入）：Host侧的double值。添加到方差中的值，以避免出现除以零的情况。

    • outputMask（const aclBoolArray *，计算输入）：aclBoolArray类型，输出的掩码。

    • gradInput（aclTensor *，出参）：可选输出，若outputMask[0]为True，则需要输出，否则不输出；输入Tensor的梯度，Device侧的aclTensor，数据类型、shape、数据格式均需要与gradOut保持一致，支持undefined，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

    • gradWeight（aclTensor *，出参）：可选输出，若outputMask[1]为True，则需要输出，否则不输出；缩放参数的梯度，Device侧的aclTensor，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16，数据类型需要与weight的数据类型一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16，数据类型需要与weight的数据类型一致。

    • gradBias（aclTensor *，出参）：可选输出，若outputMask[2]为True，则需要输出，否则不输出；偏置参数的梯度，Device侧的aclTensor，数据类型需要与gradWeight的数据类型一致，支持undefined， undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

      • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

    • workspaceSize（uint64_t *，出参）：返回需要在Device侧申请的workspace大小。

    • executor（aclOpExecutor **，出参）：返回op执行器，包含了算子计算流程。

  • 返回值：

    aclnnStatus：返回状态码，具体参见undefined。

    [object Object]

aclnnBatchNormBackward

  • 参数说明：

    • workspace（void *，入参）：在Device侧申请的workspace内存地址。
    • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnBatchNormBackwardGetWorkspaceSize获取。
    • executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
    • stream（aclrtStream，入参）：指定执行任务的AscendCL Stream流。

  • 返回值：

    aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。

[object Object]