aclnnBatchNormElemtBackward

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品。

接口原型

每个算子分为，必须先调用“aclnnBatchNormElemtBackwardGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormElemtBackward”接口执行计算。

• aclnnStatus aclnnBatchNormElemtBackwardGetWorkspaceSize(const aclTensor* gradOut, const aclTensor* input, const aclTensor* mean, const aclTensor* invstd, const aclTensor* weight, const aclTensor* sumDy, const aclTensor* sumDyXmu, aclTensor* counter, aclTensor* gradInput, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnBatchNormElemtBackward(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

功能描述

• 算子功能： 正则化反向计算。
• 计算公式：

$$\frac{\partial l}{\partial \hat{x}_i} = \frac{\partial l}{\partial y_i} \cdot γ$$ $$\frac{\partial l}{\partial σ^2_B} = \sum^m_{i=0}\frac{\partial l}{\partial \hat{x}_i} \cdot (x_i-μ_B) \cdot \frac{-1}{2}(σ^2_B + ε)^{-3/2}$$ $$\frac{\partial l}{\partial μ_B} = (\sum^m_{i=0}\frac{\partial l}{\partial \hat{x}_i} \cdot \frac{-1}{\sqrt{σ^2_B + ε}}) + \frac{\partial l}{\partial σ^2_B} \cdot \frac{\sum^m_{i=0}-2(x_i-μ_B)}{m}$$ $$\frac{\partial l}{\partial x_i} = \frac{\partial l}{\partial \hat{x}_i} \cdot \frac{1}{\sqrt{σ^2_B + ε}}) + \frac{\partial l}{\partial σ^2_B} \cdot \frac{2(x_i-μ_B)}{m} + \frac{\partial l}{\partial μ_B} \cdot \frac{1}{m}$$ $$\frac{\partial l}{\partial γ} = \sum^m_{i=0} \frac{\partial l}{\partial y_i} \cdot \hat{x}$$ $$\frac{\partial l}{\partial β} = \sum^m_{i=0} \frac{\partial l}{\partial y_i}$$

aclnnBatchNormElemtBackwardGetWorkspaceSize

• 参数说明：

  • gradOut(const aclTensor *, 计算输入): 正向输出的微分，Device侧的aclTensor，数据类型仅支持FLOAT，FLOAT16，支持，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。
  • input(const aclTensor *, 计算输入): Device侧的aclTensor，数据类型仅支持FLOAT，FLOAT16，支持，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。
  • mean(const aclTensor *, 计算输入): 均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续Tensor，为ND。
  • invstd(const aclTensor *, 计算输入): 标准差的倒数，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续Tensor，为ND。
  • weight(const aclTensor *, 计算输入): 权重，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续Tensor，为ND。
  • sumdDy(const aclTensor *, 计算输入): 输出梯度的样本均值和的平均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续Tensor，为ND。
  • sumDyXmu(const aclTensor *, 计算输入): 样本均值和与输入梯度乘积的平均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，支持非连续Tensor，为ND。
  • counter(aclTensor *, 计算输入): 输入数据的数量大小，Device侧的aclTensor，数据类型支持INT32，支持非连续Tensor，为ND。shape为1维。
  • gradInput(aclTensor *, 计算输出): 输出的结果，Device侧的aclTensor，数据类型与input一致，支持非连续Tensor，与输入一致。
  • workspaceSize(uint64_t *, 出参): 返回用户需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor **, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

aclnnBatchNormElemtBackward

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnBatchNormElemtBackwardGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(const aclrtStream, 入参): 指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

约束与限制

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。