LayerNormFusionPass

融合模式

该融合规则将ReduceMean、SquaredDifference等小算子组合识别并融合为LayerNorm算子。

• 场景一：

  融合为

• 场景二：

融合为

使用约束

• 不支持动态shape场景。
• 输入ReduceMean的限制：
  • 两个ReduceMean的axes参数必须一致，且axes参数与Input维度的最后一维保持一致。
  • 两个ReduceMean的keep_dims参数都必须是true。
• 数据类型限制：
  • Atlas 推理系列产品：数据类型支持FLOAT32、FLOAT16。
  • Atlas A2 训练系列产品/Atlas 800I A2 推理产品：数据类型支持FLOAT32、FLOAT16、BFLOAT16。

支持的型号

Atlas 推理系列产品

Atlas A2 训练系列产品/Atlas 800I A2 推理产品