BatchMatMul2MulFusionPass
融合模式
网络中存在部分k=1的batchmatmul算子,性能表现较差。该图融合就是将matmul转为mul,解决性能问题。
若输入的对应的adj为true则需要在对应输入前插入reshape算子。
使用约束
- 仅适用于静态场景,输入不带bias。
- DType符合如下条件。
- 输入均为Float32
- 输入输出均为Float16
支持的型号
父主题: 图融合规则说明
网络中存在部分k=1的batchmatmul算子,性能表现较差。该图融合就是将matmul转为mul,解决性能问题。
若输入的对应的adj为true则需要在对应输入前插入reshape算子。