完成通信域初始化及参数面建链后,HCCL会进行通信算子的任务编排及下发,在通信算子的任务编排上,进行数据通信前会有notify同步机制来确保对端已准备好接收本端的数据,因此如果有rank由于某种异常导致进程卡死或退出、网络故障或调用的通信算子不一致,会导致大部分rank出现执行等待超时。遇到此类问题,定位的首要条件是找到故障点位置,整体定位思路如下图。