融合算子优化

以Matmul+Add举例,做为2个算子单独调用时流水如图1 算子单独调用流水图所示。

图1 算子单独调用流水图

此时可以考虑融合算子带来的优化,将流水变为如图2 算子融合后调用流水图所示。

图2 算子融合后调用流水图

在AIC和AIV内部充分考虑流水并行的同时,可以考虑AIC和AIV之间的流水并行。