昇腾社区首页
中文
注册

InplaceAddRmsNormFusionPass

融合模式

将AddRmsNorm的y输出地址复用x1输入地址,x输出地址复用x2输入地址,转换为InplaceAddRmsNorm算子。

当识别到AddRmsNorm的y输出接了2个输出且输出0接Cast算子(将输出y从float16/bfloat16 Cast到float32),将AddRmsNorm和Cast融合为AddRmsNormCast算子。

使用约束

通用约束:仅限推理场景,训练场景不支持。

融合成AddRmsNormCast约束:仅支持A2,A3,仅支持输入x1为float16和bfloat16,仅支持cast从float16/bfloat16转float32。

融合成InplaceAddRmsNorm约束:NA

支持的型号

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas 推理系列产品