BatchMatMul2MulFusionPass
融合模式
网络中存在部分k=1的batchmatmul算子,性能表现较差。该图融合就是将matmul转为mul,解决性能问题。若输入的对应的adj为true则需要在对应输入前插入reshape算子。
使用约束
仅适用于静态场景,且输入DType为Float32,输入不带bias。
支持的型号
Atlas A2训练系列产品/Atlas 800I A2推理产品
父主题: 图融合规则说明
网络中存在部分k=1的batchmatmul算子,性能表现较差。该图融合就是将matmul转为mul,解决性能问题。若输入的对应的adj为true则需要在对应输入前插入reshape算子。
仅适用于静态场景,且输入DType为Float32,输入不带bias。
Atlas A2训练系列产品/Atlas 800I A2推理产品