aclnnLayerNormBackward

产品支持情况

[object Object]undefined

功能说明

• 接口功能：的反向传播。用于计算输入张量的梯度，以便在反向传播过程中更新模型参数。
• 计算公式：$$res\_for\_gamma = (input - mean) \times rstd$$ $$dy\_g = gradOut \times weightOptional$$ $$temp_1 = 1/N \times \sum_{reduce\_axis\_1} gradOut \times weightOptional$$ $$temp_2 = 1/N \times (input - mean) \times rstd \times \sum_{reduce\_axis\_1}(gradOut \times weightOptional \times (input - mean) \times rstd)$$ $$gradInputOut = (gradOut \times weightOptional - (temp_1 + temp_2)) \times rstd$$ $$gradWeightOut = \sum_{reduce\_axis\_0}gradOut \times (input - mean) \times rstd$$ $$gradBiasOut = \sum_{reduce\_axis\_0}gradOut$$ 其中，N为进行归一化计算的轴的维度，即归一化轴维度的大小。

函数原型

每个算子分为，必须先调用“aclnnLayerNormBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnLayerNormBackward”接口执行计算。

aclnnLayerNormBackwardGetWorkspaceSize

• 参数说明：

  [object Object]

  • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：

    参数[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]的数据类型不支持BFLOAT16。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnLayerNormBackward

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• shape约束：

  gradOut，input，mean，rstd，weightOptional（非空时），biasOptional（非空时），gradInputOut（非空时），gradWeightOut（非空时），gradBiasOut（非空时），shape支持1-8维。

• 确定性计算：

  aclnnLayerNormBackward默认确定性实现。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。