BatchMatMulV2ReshapeFusionPass
融合模式
针对a或b的shape为1维场景,使用reshape将输入重置为2维。
融合为
使用约束
- 不支持INT4/INT8数据类型,不支持动态shape场景。
- 要求左矩阵shape为3维,右矩阵shape为2维,且左矩阵trans_flag为False。
- UB融合场景(BatchMatMul后接Add/Relu/AddN算子),Batch维度大于50, M维度小于32,或者M=1,batch大于1,图融合生效。
- 非UB融合场景,Batch维度大于4096, M维度小于64,或者M=1,batch大于1,图融合生效。
- Atlas 推理系列产品的非UB融合场景,支持白名单用例使能该图融合。
支持的型号
Atlas 200/300/500 推理产品
Atlas 推理系列产品
Atlas 200/500 A2推理产品
Atlas 训练系列产品
父主题: 图融合规则说明