aclnnBatchNormReduceBackward

支持的产品型号

Atlas 训练系列产品。
Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为，必须先调用“aclnnBatchNormReduceBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormReduceBackward”接口执行计算。

aclnnStatus aclnnBatchNormReduceBackwardGetWorkspaceSize(const aclTensor *gradOut, const aclTensor *input, const aclTensor *mean, const aclTensor *invstd, const aclTensor *weight, const bool inputG, const bool weightG, const bool biasG, aclTensor *sumDy, aclTensor *sumDyXmu, aclTensor *gradWeight, aclTensor *gradBias, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnBatchNormReduceBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

算子功能： Batch Normalization的反向传播，完成以下计算：
- 计算损失函数L对缩放权重γ的梯度( $\frac{\partial L}{\partial γ}$ )。
- 计算损失函数L对偏移量β的梯度( $\frac{\partial L}{\partial β}$ )。
- 以损失函数L相对于输出(y[object Object]i[object Object])的偏差d[object Object]yi[object Object]推导计算 $\frac{\partial L}{\partial x_i}$ 所需的中间量sum_dy和sum_dy_xmu。其中( $\frac{\partial L}{\partial x_i}$ )为损失函数L相对于对应层各输入(x[object Object]i[object Object])的梯度。
计算公式：

gradWeight = \frac{\partial l}{\partial γ} = \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot \hat{x_i} = \frac{\sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot (x_i-μ_B)}{{\sqrt{σ^2_B + ε}}}

gradBias = \frac{\partial l}{\partial β} = \sum^m_{i=0} \frac{\partial l}{\partial y_i}

sumDy = sum(l, y_i) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i}

sumDyXmu = sum(l, y_i, x_i, μ_B) = \displaystyle \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot (x_i-μ_B)

aclnnBatchNormReduceBackwardGetWorkspaceSize

参数说明：
- gradOut(const aclTensor *, 计算输入): 梯度Tensor，Device侧的aclTensor，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，为ND。
- input(const aclTensor *, 计算输入): 输入Tensor，Device侧的aclTensor，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，为ND。
- mean(const aclTensor *, 计算输入): 均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续的Tensor，为ND。
- invstd(const aclTensor *, 计算输入): 标准差的倒数，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续的Tensor，为ND。
- weight(const aclTensor*, 计算输入): 权重，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续的Tensor，为ND。
- inputG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出sumDy和sumDyXmu Tensor。
- weightG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出gradWeight。
- biasG(bool, 计算输入): bool类型，输出掩码，标记是否需要输出gradBias。
- sumDy(aclTensor *, 计算输出): 样本均值和对输出梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，与输入一致。
- sumDyXmu(aclTensor *, 计算输出): 样本均值和对输入梯度的乘积的平均值，Device侧的aclTensor，如果inputG为True则输出，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，与输入一致。
- gradWeight(aclTensor *, 计算输出): 缩放参数的梯度，Device侧的aclTensor，如果weightG为True则输出，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，与输入一致。
- gradBias(aclTensor *, 计算输出): 偏置参数的梯度，Device侧的aclTensor，如果biasG为True则输出，数据类型仅支持FLOAT，FLOAT16，支持非连续的Tensor，与输入一致。
- workspaceSize(uint64_t *, 计算输出): 返回用户需要在Device侧申请的workspace大小。
- executor(aclOpExecutor **, 计算输出): 返回op执行器，包含了算子计算流程。
返回值：

aclnnStatus: 返回状态码，具体参见。

[object Object]

aclnnBatchNormReduceBackward

参数说明：
- workspace(void *, 计算输入): 在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t, 计算输入): 在Device侧申请的workspace大小，由第一段接口aclnnBatchNormReduceBackwardGetWorkspaceSize获取。
- executor(aclOpExecutor *, 计算输入): op执行器，包含了算子计算流程。
- stream(const aclrtStream, 计算输入): 指定执行任务的 AscendCL Stream流。
返回值：

aclnnStatus: 返回状态码，具体参见。

约束与限制

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

[object Object]