AddLayerNormFusionPass

融合模式

基础场景，将Add + Cast(可选)+ LayerNorm融合为AddLayerNorm算子。

支持将Reshape(可选) + Add + Add + Cast(可选)+ LayerNorm融合为AddLayerNorm算子。

支持将Cast + Add + Cast(可选)+ LayerNorm融合为AddLayerNorm算子。

使用约束

• 训练场景下，不支持融合前Add输入为fp16类型。
• 如果存在Cast算子, Cast算子必须是单输出。
• 如果需要融合Add算子前的Cast算子，Cast算子输出类型必须是fp32。

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品