发现原理

节点故障的发现主要通过MindCluster NodeD和MindCluster Volcano组件实现。MindCluster NodeD需要部署在每个有NPU的计算节点上，且节点需要配置了nodeDEnable=on（表示启用NodeD检测）标签，节点心跳检测特性才会生效，可执行kubectl label nodes nodeName nodeDEnable=on --overwrite命令来开启MindCluster NodeD检测。

MindCluster NodeD每隔5秒（默认）会更新本节点的Node Annotations字段，字段说明见表1。

MindCluster Volcano通过计算发现MindCluster NodeD最近一次上报心跳之后的一段时间内未再次上报心跳（大于两次心跳上报间隔的阈值）时，MindCluster Volcano会认为MindCluster NodeD所在节点故障，后续任务不会调度到该节点。如果已有任务在该节点且任务配置了重调度开关，则任务会被自动调度到健康节点；当两次心跳上报间隔小于或等于阈值时，MindCluster Volcano认为MindCluster NodeD所在节点恢复正常可重新调度任务到该节点。

计算公式：两次心跳上报间隔的阈值 = 心跳发送间隔时间 x 3，其中3表示MindCluster Volcano会固定重试3次。