---
title: ScopeLayerNormGradPass
description: "将tf.layernorm的反向Scope融合为LayerNormGrad算子。"
url: https://www.hiascend.com/document/detail/zh/TensorFlowCommercial/latest/Convergence/tfscopefusionref/atlasfr_30_0005.html
sourcePath: /source/zh/TensorFlowCommercial/900/Convergence/tfscopefusionref/atlasfr_30_0005.html
indexId: 22aabe9a578d9e4bda0729f8847208bd7eae7dc1018d231fdafa7930e020602b85
---
# ScopeLayerNormGradPass

#### 功能说明

将tf.layernorm的反向Scope融合为LayerNormGrad算子。


#### Scope详情


mul_grad展开：


sub_grad展开：


#### 融合后的算子原型

LayerNormGrad，具体请参见《算子库(https://www.hiascend.com/document/detail/zh/canncommercial/900/API/aolapi/operatorlist_00001.html)》。


#### 融合对应关系

LayerNorm反向的输入作为融合后的第一个输入dy。

LayerNorm正向的输入作为融合后的第2个输入x。

正向的第3个输出variance作为反向的第3个输入variance。

正向的第2个输出mean作为反向的第3个输入mean。

正向的第2个输入gamma作为反向的第4个输入gamma。

反向的第1个输出连接到反向图最后的addN节点的输出上。

反向的第2个输出gamma_backprop连接到mul_grad中的cast节点的Mul输出上。

反向的第3个输出beta_backprop连接到sub_grad中的cast节点的Sum输出上。


#### 适用网络

Bert


#### 融合规则类型

通用融合规则