昇腾社区首页
中文
注册
开发者
下载

QuantizeAddLayerNormPass

融合模式

场景1:将算子AddLayerNorm的输出y所连接的两个Quantize算子或两个AscendQuantV2算子融合掉,融合成新算子DuaQuantizeAddLayerNorm。

场景2:将算子AddLayerNorm的输出y所连接的1个AscendQuant或AscendQuantV2算子节点融合掉,融合成新算子QuantizeAddLayerNorm:

使用约束

  • AddLayerNorm的输入参数个数至少为5,且参数bias必须存在。
  • 融合为DuaQuantizeAddLayerNorm算子的场景,AddLayerNorm节点后须连接两个量化节点,AddLayerNorm的输入参数x1的数据类型须为bf16,且须尾轴32B对齐。
  • 融合为QuantizeAddLayerNorm算子的场景,AddLayerNorm节点后须连接单个量化节点,当量化节点为AscendQuant时,AddLayerNorm的输入参数x1的数据类型须不为fp32,且尾轴须32B对齐。

支持的型号

Atlas A2 训练系列产品/Atlas A2 推理系列产品

Atlas A3 训练系列产品/Atlas A3 推理系列产品