通信域建链超时
问题现象
关键词"Socket Timeout"

故障根因
关键过程:模型多卡训练过程中,中断报错。
     根本原因分析:
     
   - 0卡与其他卡的网络存在异常,其他卡等待超时报错;
 - 0卡异常退出,其他卡等待超时报错;
 - 0卡比其他卡执行通信域建立慢,其他卡等待超时报错。
 
处理方法
| 
          Error Code  | 
        
          无  | 
       
|---|---|
| 
          故障事件名称  | 
        
          通信域建链超时  | 
       
| 
          故障解释/可能原因  | 
        
         
  | 
       
| 
          故障影响  | 
        
          模型训练终止  | 
       
| 
          故障自处理模式  | 
        
         
  | 
       
| 
          系统处理建议  | 
        
          无需操作  | 
       
     父主题: 故障案例集