aclnnBatchNormReduceBackward

支持的产品型号

• [object Object]Atlas 训练系列产品[object Object]。
• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]。
• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]。

功能说明

• 算子功能： Batch Normalization的反向传播，完成以下计算：

  • 计算损失函数L对缩放权重γ的梯度($\frac{\partial L}{\partial γ}$)。
  • 计算损失函数L对偏移量β的梯度($\frac{\partial L}{\partial β}$)。
  • 以损失函数L相对于输出(y[object Object]i[object Object])的偏差d[object Object]yi[object Object]推导计算$\frac{\partial L}{\partial x_i}$所需的中间量sum_dy和sum_dy_xmu。其中($\frac{\partial L}{\partial x_i}$)为损失函数L相对于对应层各输入(x[object Object]i[object Object])的梯度。

• 计算公式：

  $$gradWeight = \frac{\partial l}{\partial γ} = \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot \hat{x_i} = \frac{\sum^m_{i=0} \frac {\partial l}{\partial y_i} \cdot (x_i-μ_B)}{{\sqrt{σ^2_B + ε}}}$$ $$gradBias = \frac{\partial l}{\partial β} = \sum^m_{i=0} \frac{\partial l}{\partial y_i}$$ $$sumDy = sum(l, y_i) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i}$$ $$sumDyXmu = sum(l, y_i, x_i, μ_B) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot (x_i-μ_B)$$

函数原型

每个算子分为undefined，必须先调用“aclnnBatchNormReduceBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormReduceBackward”接口执行计算。

• aclnnStatus aclnnBatchNormReduceBackwardGetWorkspaceSize(const aclTensor* gradOut, const aclTensor* input, const aclTensor* mean, const aclTensor* invstd, const aclTensor* weight, const bool inputG, const bool weightG, const bool biasG, aclTensor* sumDy, aclTensor* sumDyXmu, aclTensor* gradWeight, aclTensor* gradBias, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnBatchNormReduceBackward(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

aclnnBatchNormReduceBackwardGetWorkspaceSize

• 参数说明：

  • gradOut（aclTensor*，计算输入）：梯度Tensor，Device侧的aclTensor，数据类型需要与input一致，shape支持2-8维，支持undefined，undefined为ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • input（aclTensor*，计算输入）：输入Tensor，Device侧的aclTensor，shape支持2-8维，支持undefined，undefined为ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • mean（aclTensor*，计算输入）：均值，Device侧的aclTensor，支持undefined，undefined为ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • invstd（aclTensor*，计算输入）：标准差的倒数，Device侧的aclTensor，支持undefined，undefined为ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • weight（aclTensor*，计算输入）：权重，Device侧的aclTensor，支持undefined，undefined为ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • inputG（bool，计算输入）：bool类型，输出掩码，标记是否需要输出sumDy和sumDyXmu。
  • weightG（bool，计算输入）：bool类型，输出掩码，标记是否需要输出gradWeight。
  • biasG（bool，计算输入）：bool类型，输出掩码，标记是否需要输出gradBias。
  • sumDy（aclTensor*，计算输出）：样本均值和对输出梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • sumDyXmu（aclTensor*，计算输出）：样本均值和对输入梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • gradWeight（aclTensor*，计算输出）：缩放参数的梯度，Device侧的aclTensor，如果weightG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • gradBias（aclTensor*，计算输出）：偏置参数的梯度，Device侧的aclTensor，如果biasG为True则输出，size需要与input的channel轴一致，支持undefined，undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnBatchNormReduceBackward

• 参数说明：

  • workspace（void *，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnBatchNormReduceBackwardGetWorkspaceSize获取。
  • executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。