AddLayerNormDynamicQuantFusionPass
融合模式
将满足如下Pattern的结构融合成AddLayerNormQuant算子。
或
使用约束
- AddLayerNorm 的 0 号输出只有1个或2个,且给了 Mul 节点或 DynamicQuant 节点。
- 当 AddLayerNorm 的 0 号输出有 2 个时,2个下游节点必须同时为 Mul 或 同时为 DynamicQuant。
- 当 AddLayerNorm 的 0 号输出下游节点为 Mul 时,Mul 下游有且仅有 1 个 DynamicQuant 节点,且该 DynamicQuant 节点不能有 smooth 这个可选输入。
支持的型号
Atlas A2训练系列产品
父主题: 图融合规则说明