昇腾社区首页
中文
注册
开发者
下载

AddRmsNormQuantFusionPass

融合模式

将满足如下Pattern的结构融合成AddRmsNormQuant算子。

使用约束

  • 如下形态下,Quantize的输出仅支持量化类型为int8。
    • Atlas A2 训练系列产品/Atlas A2 推理系列产品
    • Atlas 推理系列产品
    • Atlas A3 训练系列产品/Atlas A3 推理系列产品
  • AddRmsNorm x1的数据类型仅支持float16和bfloat16,且x1的shape尾轴需32B对齐。

支持的型号

Atlas A2 训练系列产品/Atlas A2 推理系列产品

Atlas 推理系列产品

Atlas A3 训练系列产品/Atlas A3 推理系列产品