训练节点出现故障后，系统将对故障资源（对应芯片/节点）进行隔离并对故障发生时正在运行的训练任务自动进行重调度、重训练（需进行脚本适配），该特性叫做断点续训，目前有MindX DL和ModelArts两种应用场景。断点续训特性包含两大功能：重调度和重训练。