算子融合推荐

UB算子融合

输出潜在可合并算子组合列表,如图1

图1 UBModel
表1 输出字段说明

字段

说明

Fusion Type

可融合算子类型。

Fusion Operator Detail

可融合算子明细。

Duration

可融合算子运行总时间。

输出结果会根据可融合算子运行总时间从大到小以及相同可融合算子类型进行排序。

优化建议:建议根据输出结果将可融合算子进行融合。

首层算子融合

输出潜在可进行AIPP首层算子融合的算子组合列表,如图2

图2 AippFusionModel

优化建议:建议根据输出结果将可融合算子进行融合。

L2融合(动态Batch切分)

输出潜在可进行L2融合算子组合列表和算子信息。

优化建议:开启AOE功能。

当前产品不支持AOE功能,L2融合需自行处理。

AOE功能开启后能在计算时将模型中所有非1batch的算子自动切分为1batch,从而降低每层算子的数据量,解决L2 cache空间不足,产生DDR写回,引发算子性能恶化的问题。有关AOE功能的使用请参见AOE工具使用指南