- 使用此特性必须在待监测故障的节点上配置启用NodeD监测，配置方式参考断点续训特性中的节点使用NodeD监测配置开关。
- 新任务副本数范围为[minReplicas, replicas]，具体数值由当前集群中的可用节点数确定，多节点分布式训练时有效。
- 在重调度策略开启的情况下，Ascend Device Plugin的异常也会触发故障重调度。
- 用于检测NPU芯片间连通性的IP地址推荐配置为路由器的IP地址。
- 使用单机多卡进行训练出现故障时，优先按照原任务规格进行恢复，且任务规格遵循8、4、2、1卡的恢复策略。
- 最小业务系统支持的系统规格如下表。
表1 系统规格 类型
配置
服务器
Atlas 800 训练服务器（型号 9000）（NPU满配）
训练框架
MindSpore/TensorFlow/PyTorch，其中断点续训特性中的临终遗言功能只支持MindSpore框架。
- 最小业务系统支持的集群调度组件如下表。
表2 所需组件 组件名称
组件说明
Ascend Device Plugin
实现NPU设备管理功能。当NPU设备出现故障时，该组件能实现故障上报，将故障隔离。
Volcano
实现调度功能。
HCCL-Controller
实现为NPU训练任务生成ranktable file文件（也叫hccl.json文件）。
NodeD
实现故障恢复功能。如使用断点续训特性中的临终遗言功能，还需要使用mindx_elastic二进制文件。
Resilience-Controller
支持最小业务系统功能。
当前最小业务系统特性暂不支持使用Ascend Operator为任务生成对应的环境变量，即不支持使用Ascend Operator替换HCCL-Controller组件的场景。