昇腾社区首页
中文
注册

TbeBatchMatMulQuantFusionPass

融合模式

该融合将满足如下Pattern关系的子图中BatchMatMul/GEMM和AscendDequant/AscendQuant/Elemwise进行UB融合。

模式一:

模式二:

使用约束

1. BatchMatMul支持MatMul, MatMulV2, BatchMatMul, BatchMatMulV2

2. 不支持动态shape场景

3. Elemwise节点必须是FastGeluV2

支持的型号

Atlas 200/300/500 推理产品

Atlas 200I/500 A2 推理产品

Atlas 推理系列产品

Atlas 训练系列产品