动态shape图中,是否允许AI CPU算子和AI Core算子并行运行。此参数实际对应的options参数为[object Object]。
动态shape图中,开关开启时,系统自动识别图中可以和AI Core并发的AI CPU算子,不同引擎的算子下发到不同流上,实现多引擎间的并行,从而提升资源利用效率和动态shape执行性能。
参数取值:
- 1:允许AI CPU和AI Core算子间的并行运行。
- 0(默认):AI CPU算子不会单独分流。
配置示例:
[object Object]
[object Object][object Object]产品支持情况:
[object Object]- Ascend 950PR/Ascend 950DT:支持
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
- Atlas 200I/500 A2 推理产品:不支持
- Atlas 推理系列产品:支持
- Atlas 训练系列产品:支持