约束条件

配置依赖

• 本特性仅支持设备故障和服务器网络故障检测：设备故障支持《Ascend 910 黑匣子错误码信息列表》中DCMI接口上报的“紧急”和“重要”类型的错误和设备网络探测工具hccn_tool检测到的设备网络故障；服务器网络故障依赖于NodeD组件的心跳机制，NodeD未正确安装或者节点间网络不通都会影响该故障检测功能。

• 本特性不适用于虚拟化实例场景。
• 本特性依赖MindX DL中Volcano、HCCL-Controller、NodeD和Ascend Device Plugin四个组件。如使用断点续训特性中的临终遗言功能，还需要使用mindx_elastic二进制文件。
• 该特性目前只支持vcjob类型的任务。
• 需要在vcjob类型任务的yaml中增加故障重调度的开关“fault-scheduling”，其值参考：任务特性开关配置。
• “临终遗言”需要在vcjob类型任务的yaml中配置停止优雅时间：“terminationGracePeriodSeconds”，具体参见示例：任务特性开关配置
• 需要在vcjob类型任务的yaml中配置失败重试机制："maxRetry"，具体参见示例：任务特性开关配置。

• 节点故障目前由Volcano负责检查，当NodeD最近一次上报心跳之后一段时间内未再次上报心跳（大于两次心跳上报间隔的阈值）时，Volcano就会认为NodeD所在节点故障，从而触发故障重调度。当后续NodeD两次心跳上报间隔小于或等于阈值时，Volcano认为NodeD所在节点恢复正常。

  计算公式：两次心跳上报间隔的阈值 = 心跳发送间隔配置 x 3，其中3表示Volcano会重试3次。

  

  • 断点续训特性的临终遗言功能中使用了SigTerm和SigInt的信号量。
  • 断点续训特性的临终遗言功能不支持对保存的checkpoint文件加解密。