TorchNPU可以通过设置环境变量CPU\AFFINITY\CONF来开启粗/细粒度绑核。该配置能够避免线程间抢占,提高缓存命中率,避免跨NUMA(非一致性内存访问)节点的内存访问,减少任务调度开销,优化任务执行效率。 可选的绑核方案如下: - 粗粒度绑核:将所有任务绑定在NPU业务绑核区间的所有CPU核上,避免不同卡任务之间的线程抢占。 - 细粒度绑核:在粗粒度绑核的基础上进一步优化,将TorchNPU热点线程(主线程、二级流水线程等)锚定在NPU业务绑核区间的固定CPU核上,即,主线程绑定在绑核区间的第一个CPU核上,二级流水线程绑定在绑核区间的第二个CPU核上,以此类推,非热点线程(如
注册融合算子。