ConcatQuantFusionPass

融合模式

该融合规则将ConcatD/ConcatV2D+Quant子图融合成Quant+ConcatD/ConcatV2D子图模式。该融合规则可以减少数据搬运量，提高计算性能。

融合成

或者

融合成

或者

融合成

使用约束

• 图一场景下，Quant0和Quant1的参数需要保持一致。
• 在数据比对时需要关闭对应融合规则。
• 当前Quant输出dtype为int4时不支持该融合规则。
• Concat的输出节点不支持stridedwrite算子。
• 支持Fixpipe的场景下，Relu可以是LeakyRelu、Prelu、Relu6、Relu。
• 当Concat输入格式为NCHW且concat_dim_为1或者-3，或者Concat输入格式为NHWC且concat_dim_为3或者-1时，即合并轴为C轴，C轴的值需要为K0值的整数倍。shape值需要满足如下条件。
  数据类型为默认的Float16或者Float32时，K0=16；数据类型为int8时，K0=32；数据类型为int4时，K0=64。该约束条件是适应于如下芯片类型。

  • Atlas 200/300/500 推理产品
  • Atlas 训练系列产品
  • Atlas 推理系列产品
  • Atlas A2训练系列产品/Atlas 800I A2推理产品
  • Atlas 200/500 A2推理产品