昇腾社区首页
中文
注册

TbeBatchMatMulQuantFusionPass

融合模式

该融合将满足如下Pattern关系的子图中BatchMatMul/GEMM和AscendDequant/AscendQuant/Elemwise进行UB融合。

模式一:

模式二:

使用约束

  • BatchMatMul支持MatMul,MatMulV2,BatchMatMul,BatchMatMulV2。
  • 不支持动态shape场景。
  • Elemwise节点必须是FastGeluV2。

支持的型号

Atlas 200I/500 A2 推理产品

Atlas 推理系列产品

Atlas 训练系列产品