通信域建链超时
问题现象
关键词"Socket Timeout"
故障根因
关键过程:模型多卡训练过程中,中断报错
根本原因分析:
- 0卡与其他卡的网络存在异常,其他卡等待超时报错;
- 0卡异常退出,其他卡等待超时报错;
- 0卡比其他卡执行通信域建立慢,其他卡等待超时报错。
处理方法
Error Code |
无 |
---|---|
故障事件名称 |
通信域建链超时 |
故障解释/可能原因 |
|
故障影响 |
模型训练终止 |
故障自处理模式 |
|
系统处理建议 |
无需操作 |
父主题: 故障案例集