功能说明

融合规则（包括图融合和UB融合）开关配置文件路径以及文件名，通过该参数关闭配置文件中指定的融合规则。

图融合：是FE根据融合规则进行改图的过程。图融合用融合后算子替换图中融合前算子，提升计算效率。图融合的场景如下：
- 在某一些算子的数学计算量可以进行优化的情况下，可以进行图融合，融合后可以节省计算时间。例如：conv+biasAdd，可以融合成一个算子，直接在l0c中完成累加，从而省去add的计算过程。
- 在融合后的计算过程可以通过硬件指令加速的情况下，可以进行图融合，融合后能够加速。例如：conv+biasAdd的累加过程，就是通过l0c中的累加功能进行加速的，可以通过图融合完成。
UB融合：UB即昇腾AI处理器上的Unified Buffer，UB融合指A算子的计算结果在Unified Buffer上，需要搬移到Global Memory。B算子再执行时，需要将A算子的输出由Global Memory再搬移到Unified Buffer，进行B的计算逻辑，计算完之后，又从Unified Buffer搬移回Global Memory。
从这个过程会发现A的结果从Unified Buffer->Global Memory->Unified Buffer->Global Memory。这个经过Global Memory进行数据搬移的过程是浪费的，因此将A和B算子合并成一个算子，省去了数据搬移的过程叫UB融合。UB融合可以减少整网中数据搬移的时间（Global Memory>Unified Buffer,Unified Buffer->Global Memory），提高运算效率，有效降低带宽。

关联参数

无。

参数取值

参数值：配置文件路径以及文件名。

参数值格式：路径和文件名：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、短横线（-）、句点（.）、中文汉字。

参数值约束：

系统内置的图融合和UB融合规则，均为默认开启，用户可以根据需要通过该参数关闭指定的融合规则。当前可以关闭的融合规则请参见《图融合和UB融合规则参考》，由于系统机制，其他融合规则无法关闭。

示例

场景1：逐条配置待关闭融合规则
配置文件样例如下，冒号前面为融合规则名，后面字段表示融合规则是否开启（融合规则开关配置文件名举例为fusion_switch.cfg）：
```
xxxFusionPass:off
yyyFusionPass:off
....
```
场景2：一键式关闭融合规则
该参数支持用户一键式关闭融合规则，配置文件样例如下：
```
{
    "Switch":{
        "GraphFusion":{
            "ALL":"off"
        },
        "UBFusion":{
            "ALL":"off"
         }
    }
}
```
说明：
1. 关闭某些融合规则可能会导致功能问题，因此此处的一键式关闭仅关闭系统部分融合规则，而不是全部融合规则。
2. 一键式关闭融合规则时，可以同时开启部分融合规则，样例如下：
```
{
    "Switch":{
        "GraphFusion":{
            "ALL":"off",
            "SoftmaxFusionPass":"on"
        },
        "UBFusion":{
            "ALL":"off",
            "TbePool2dQuantFusionPass":"on"
        }
    }
}
```

将上述配置好的fusion_switch.cfg文件上传到ATC工具所在服务器任意目录，例如上传到$HOME/module，使用示例如下：

--fusion_switch_file=$HOME/module/fusion_switch.cfg

模型转换完毕，会生成"fusion_result.json"文件：

若设置了ASCEND_WORK_PATH环境变量，则该文件生成路径为：$ASCEND_WORK_PATH/FE/${进程号}/fusion_result.json。环境变量ASCEND_WORK_PATH详细说明请参见《环境变量参考》。
若未设置上述环境变量，则默认生成在执行atc命令的当前路径。

该文件用于记录模型转换过程中除去fusion_switch.cfg文件中关闭的融合规则外，仍旧使用的融合规则，其中，"match_times"字段表示模型转换过程中匹配到的融合规则次数，"effect_times"字段表示实际生效的次数。如果未配置--fusion_switch_file参数，则生成的"fusion_result.json"文件中记录模型转换过程中匹配到的所有融合规则。

支持的型号

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 训练系列产品

Atlas 200I/500 A2推理产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

使用约束

若网络模型中Convolution算子的“group”属性取值==模型文件prototxt中“num_output”属性的取值，则上述配置文件中VxxxRequantFusionPass必须打开。
AMCT对原始框架模型进行量化时，会插入量化和反量化算子，而使用ATC工具进行模型转换过程中，会对插入的量化和反量化算子进行融合，此情况下再进行量化后模型dump结果与原始模型dump结果的比对可能不准确，因此如果用户想使用AMCT量化后的模型进行精度比对，则需要通过--fusion_switch_file参数关闭部分融合功能，该场景下需要关闭的融合规则如下：
Atlas 200/300/500 推理产品、Atlas 训练系列产品场景必须关闭的融合规则：
```
V100RequantFusionPass:off
ConvConcatFusionPass:off
SplitConvConcatFusionPass:off
TbeEltwiseQuantFusionPass:off
TbeConvDequantVaddReluQuantFusionPass:off
TbeConvDequantVaddReluFusionPass:off
TbeConvDequantQuantFusionPass:off
TbeDepthwiseConvDequantFusionPass:off
TbeFullyconnectionElemwiseDequantFusionPass:off
TbeConv2DAddMulQuantPass:off
TbePool2dQuantFusionPass:off
TbeCommonRules0FusionPass:off
TbeCommonRules2FusionPass:off
```
Atlas 推理系列产品必须关闭的融合规则：
```
V200RequantFusionPass:off
ConvConcatFusionPass:off
SplitConvConcatFusionPass:off
TbeEltwiseQuantFusionPass:off
TbeConvDequantVaddReluQuantFusionPass:off
TbeConvDequantVaddReluFusionPass:off
TbeConvDequantQuantFusionPass:off
TbeDepthwiseConvDequantFusionPass:off
TbeFullyconnectionElemwiseDequantFusionPass:off
TbeConv2DAddMulQuantPass:off
TbePool2dQuantFusionPass:off
TbeCommonRules0FusionPass:off
TbeCommonRules2FusionPass:off
```
Atlas 200I/500 A2推理产品、Atlas A2训练系列产品/Atlas 800I A2推理产品必须关闭的融合规则：
```
ConvConcatFusionPass:off
SplitConvConcatFusionPass:off
TbeEltwiseQuantFusionPass:off
TbeConvDequantVaddReluQuantFusionPass:off
TbeConvDequantVaddReluFusionPass:off
TbeConvDequantQuantFusionPass:off
TbeDepthwiseConvDequantFusionPass:off
TbeFullyconnectionElemwiseDequantFusionPass:off
TbeConv2DAddMulQuantPass:off
TbePool2dQuantFusionPass:off
TbeCommonRules0FusionPass:off
TbeCommonRules2FusionPass:off
```
融合规则解释如下：
- V100RequantFusionPass
  图融合规则。V100量化场景下，满足反量化(dequant)和量化(quant)相关pattern时，进行部署优化，提升推理性能。
- V200RequantFusionPass
  图融合规则。V200量化场景下，满足反量化(dequant)和量化(quant)相关pattern时，进行部署优化，提升推理性能。
- ConvConcatFusionPass
  图融合，支持conv2d*N+concat算子的图融合规则，conv2d后面可以连接dequant和Relu类算子。
- SplitConvConcatFusionPass
  图融合，支持split+conv2d*N+concat算子的融合规则，conv2d后面可以连接dequant和Relu类算子。
- TbeEltwiseQuantFusionPass
  UB融合，支持elemwise+quant算子的UB融合，quant算子为可选节点。
- TbeConvDequantVaddReluQuantFusionPass
  UB融合规则。量化场景下，对Conv-dequant-vadd-relu-quant连续的节点，标记UB融合，提升推理性能。
- TbeConvDequantVaddReluFusionPass
  UB融合，支持conv2d+dequant+vadd+relu/conv2d+dequant+(leakyrelu)+vadd算子的融合节点。
- TbeConvDequantQuantFusionPass
  UB融合规则。量化场景下，对Conv-dequant-quant连续的节点，标记UB融合，提升推理性能。
- TbeDepthwiseConvDequantFusionPass
  UB融合，支持depthwiseConv2d+dequant+(relu/mul)+quant/depthwiseConv2d+dequant+(sigmoid)+mul/depthwiseConv2d+requant/depthwiseConv2d+(power+relu6+power)+elemwise+(quant)算子的融合节点。
- TbeFullyconnectionElemwiseDequantFusionPass
  UB融合，支持如下两种形式的融合：
  1. 静态shape场景BatchMatMul/BatchMatMulV2 + elemwise的融合。
  2. 静态shape场景MatMul/MatMulV2/BatchMatMul/BatchMatMulV2 + AscendDequant + elemwise1(+ elemwise2)的融合。
- TbeConv2DAddMulQuantPass
  UB融合，支持conv+dequant+add+quant融合，add算子除quant外还必须有另两路任意输出才可以进行融合。
- TbePool2dQuantFusionPass
  UB融合规则。量化场景下，对Pool2d-quant连续的节点，标记UB融合，提升推理性能。
- TbeCommonRules0FusionPass
  UB融合，支持StridedRead+Conv2D+dequant+elemwise+quant+StridedWrite算子的UB融合，除Conv2D外，其他节点都是可选节点。
- TbeCommonRules2FusionPass
  UB融合，支持StridedRead+Conv2D+dequant+elemwise+quant+StridedWrite算子的UB融合，除Conv2D外，其他节点都是可选节点；elemwise支持多输出场景下的融合。

--fusion_switch_file

功能说明

关联参数

参数取值

推荐配置及收益

示例

支持的型号

使用约束