以Matmul+Add举例,做为2个算子单独调用时流水如图1 算子单独调用流水图所示。
此时可以考虑融合算子带来的优化,将流水变为如图2 算子融合后调用流水图所示。
在AIC和AIV内部充分考虑流水并行的同时,可以考虑AIC和AIV之间的流水并行。