流水优化
- 一级流水优化
一级流水优化是一种通用有效的优化方法,主要是将部分算子适配任务迁移至二级流水,使两级流水负载更均衡,并减少dequeue唤醒时间。
-
该特性可以通过环境变量设置,一般用于以下场景:host-bound严重的网络场景。
使用方法如下:
export TASK_QUEUE_ENABLE=2

- ASCEND_LAUNCH_BLOCKING设置为“1”时,task_queue算子队列关闭,TASK_QUEUE_ENABLE设置不生效。
- TASK_QUEUE_ENABLE配置为“2”时,由于内存并发,可能导致运行中NPU内存峰值上升。
父主题: 调度优化