ConvConcatFusionPass
融合模式
在concat算子前插入跳写算子,将原先通过concat拼接多个Conv2D内存的方式,修改成通过StridedWrite算子进行Conv2D内存拼接,以消除concat算子任务执行带来的性能消耗。concat算子包括ConcatD/ConcatV2D。
场景1: 插入StridedWrite算子。
融合成
场景2: 匹配含有Dequant节点的子图。
融合成
场景3:concat后有Quant节点,会将此节点提前。
融合成
场景4:有mish算子的会将mish算子下移。
融合成
场景5:算子信息库查询不到StridedWrite的场景,不做插入。即如下图不发生变化。
使用约束
- 量化场景下该融合规则必须打开,否则会导致transdata输出的dtype不支持。
- 不支持动态shape场景。
- 原始DType为fp16和float时,dim C需要为16的倍数,DType为int8,dim C需要为32的倍数,DType为int4,dim C需要为64的倍数。
支持的型号
Atlas 200/300/500 推理产品
Atlas 200/500 A2推理产品
Atlas 推理系列产品
Atlas 训练系列产品
Atlas A2训练系列产品/Atlas 800I A2推理产品
父主题: 图融合规则说明