工具实现的融合功能和图结构优化

融合功能

当前该工具主要实现的融合功能如下：

Conv+BN融合：AMCT在量化前会对模型中的"Conv+BatchNormalization"结构做Conv+BN融合，融合后的"BatchNormalization"层会被删除。
BatchNormalization+Mul：AMCT在量化前会对模型中的"BatchNormalization+Mul"结构做"BN+Mul"融合，融合后的"Mul"层会被删除。
BatchNormalization+Add：AMCT在量化前会对模型中的"BatchNormalization+Add"结构做"BN+Add"融合，融合后的"Add"层会被删除。

图结构优化

保存模型时，如果模型中存在Matmul+Add结构，一般会在Matmul算子后插入Dequant量化算子，但是满足以下条件时，会在Add算子后插入Dequant算子：

MatMul的输出仅有一个且为Add算子，Add算子的另一路输入为一维常量：在Add算子后插入Dequant算子，对Add算子的另一路常量做bias量化：
$\text{[math]}$
若MatMul存在常量，Add算子的另一路输入长度需与权重最后一维相同。

父主题： 参考信息