npu_stream_switch

函数功能

图执行过程中,指定图内多个算子分发到不同stream做并行计算,提高资源利用率,详细功能介绍参见图内多流表达功能

函数原型

def npu_stream_switch(stream_tag: str, stream_priority: int = 0)

参数说明

参数

输入/输出

说明

是否必选

stream_tag

输入

字符串类型,指定算子执行的目标stream标签。相同的标签代表相同的流,由用户控制。

必选

stream_priority

输入

int类型,表示切换到stream_tag流的优先级,即Runtime运行时在并发时优先给高优先级的流分核资源。当前版本为预留参数,建议取默认值0。

可选

返回值说明

约束说明

该接口一般与npu_wait_tensor配套使用,完成图内多流计算配置。

调用示例

参考图内多流表达功能使用示例