不同设备进程在分布式训练过程中存在卡间执行任务不一致的场景(如仅特定进程会保存checkpoint数据),通过该环境变量可控制设备间执行时同步等待的时间,在该配置时间内各设备进程等待其他设备执行通信同步。
需要注意:针对Atlas 训练系列产品,系统实际设置的超时时间 = 环境变量的取值先整除“68”,然后再乘以“68”,单位s。如果环境变量的取值小于68,则默认按照68s进行处理。
例如,假设HCCL_EXEC_TIMEOUT = 600,则系统实际设置的超时时间为:600整除68乘以68 = 8*68 = 544s。
export HCCL_EXEC_TIMEOUT=1800