节点故障的发现主要通过NodeD和Volcano组件实现。节点故障包括节点状态丢失和节点硬件故障,详细说明如下:
NodeD完成当前节点的节点状态诊断后,收集本节点内的故障信息,通过节点状态上报机制不断向Volcano发送节点状态(当前仅收集本节点内的硬件故障信息)。
针对节点硬件故障,NodeD通过IPMI驱动向iBMC发送故障查询请求,iBMC将当前硬件告警信息响应给NodeD。NodeD收集硬件告警信息后,将节点硬件状态上报给Volcano。
Job级别重调度、Pod级别重调度、进程级别重调度
断点续训针对节点故障中节点硬件故障的不同故障码,提供了默认的故障级别和对应级别的故障处理策略。若用户需要修改故障处理策略,可参见节点硬件故障。若无特殊需求,请勿随意修改。