简介

AutoFuse是基于Ascend C的自动融合框架，支持自动融合范围识别、自动算子代码生成、Auto Tiling优化、动态shape及混合精度等特性；在算法网络中，由于存在大量的Vector计算，各个Vector计算之间会产生大量的内存搬运，导致Memory Bound问题。而AutoFuse通过自动将多个算子融合为一个算子，减少网络中的算子数量和内存搬运，从而缓解了Memory Bound问题，释放昇腾算力，提升模型的执行性能。

收益原理示意图如图1所示，自动融合通过将多个算子合并为单个算子，理论上在MTE搬运、动态shape调度开销都会有一定的收益，对于小shape，MTE Bound的推荐网络，一般都能获得正收益。

图1 收益原理