大模型推理场景下,对于一些可并行的场景,可以划分多个stream提升执行效率。通过在脚本中指定每个算子的执行stream,将原本需要串行的多个算子分发到不同stream进行并行计算,多个stream上的计算形成overlap,从而降低整体计算耗时。 对于并行来说,包含如下两种: - 计算与计算并行:一般是基于数据依赖关系,分析出可以并行的多条计算分支,指定stream并行。 - 计算与通信并行:一般是针对没有数据依赖的通信操作,提前使用通信资源执行通信任务。 本功能主要处理Ascend IR图内资源并发(max-autotune模式),尤其针对Cube计算资源未完全使用的场景。若Cube计算资