昇腾社区首页
中文
注册

AddRmsNormDynamicQuantFusionPass

融合模式

该融合将符合图融合pattern的AddRmsNorm算子和DynamicQuant算子融合成融合算子AddRmsNormDynamicQuant,其中AddRmsNorm算子的输出y作为DynamicQuant算子的第一个输入。

场景1:单路模式

场景2:双路模式

使用约束

  • 融合前AddRmsNorm和DynamicQuant算子输入类型需要保持一致(即全是fp16或者bf16)。

支持的型号

Atlas A2 训练系列产品/Atlas 800I A2 推理产品