InplaceAddRmsNormFusionPass
融合模式
将AddRmsNorm的y输出地址复用x1输入地址,x输出地址复用x2输入地址,转换为InplaceAddRmsNorm算子。
当识别到AddRmsNorm的y输出接了2个输出且输出0接Cast算子(将输出y从float16/bfloat16 Cast到float32),将AddRmsNorm和Cast融合为AddRmsNormCast算子。
使用约束
通用约束:仅限推理场景,训练场景不支持。
融合成AddRmsNormCast约束:仅支持A2,A3,仅支持输入x1为float16和bfloat16,仅支持cast从float16/bfloat16转float32。
融合成InplaceAddRmsNorm约束:NA
支持的型号
父主题: 图融合规则说明