---
title: ScopeLayerNormPass
description: "将tf.layernorm生成的layernorm/batchnorm和layernorm/moments这两个Scope，融合为LayerNorm算子。"
url: https://www.hiascend.com/document/detail/zh/TensorFlowCommunity/latest/Convergence/tfscopefusionref/atlasfr_30_0004.html
sourcePath: /source/zh/TensorFlowCommunity/910/Convergence/tfscopefusionref/atlasfr_30_0004.html
indexId: 71982c361b19c4310b060a71258f2593f8448a175078882de7282eb86a82a0ca84
---
# ScopeLayerNormPass

#### 功能说明

将tf.layernorm生成的layernorm/batchnorm和layernorm/moments这两个Scope，融合为LayerNorm算子。


#### Scope详情


batchnorm展开：


moments展开：


#### 融合后的算子原型

LayerNorm，具体请参见《算子库(https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/920beta1/API/aolapi/operatorlist_00001.html)》。


#### 融合对应关系

当有Cast节点时，首个Cast的输入，作为融合后的第一个输入x。

Mul节点的gamma输入作为融合后的第2个输入gamma。

最后一个Add节点beta输入作为融合后的第3个输入beta。

第4个begin_norm_axis使用默认值1。

第5个begin_param_axis使用默认值-1。


#### 适用网络

Bert


#### 融合规则类型

通用融合规则