亚健康热切

使用约束

• 对于PyTorch训练框架，需配合MindSpeed-LLM 2.3.0版本使用，版本配套请参见MindSpeed-LLM。
• 对于MindSpore训练框架，需配合MindFormers master版本使用，版本配套请参见MindSpore MindFormers。
• 只支持PyTorch单算子模式、基于Megatron框架的模型以及acjob类型训练任务。
• MindSpore场景下，为保证本功能的正常使用，请将MindSpore和MindIO安装在同一路径下。
• 不支持多模态模型。
• 不支持开启watchdog功能。
• 训练任务未出迭代时触发热切，可能会造成MindIO阻塞，最后触发Job级别重调度。
• 当训练任务的annotation中hccl/rankIndex字段为0的Pod发生亚健康故障时，不支持触发亚健康热切。
• 以下异常情况会回退至Job级别重调度，且任务亚健康处理策略降级为ignore，不再处理亚健康故障：
  • 备份Pod拉起后，训练暂停失败。
  • 备份Pod拉起后，MindCluster等待上报训练暂停状态超时（15分钟）。
  • 备份Pod运行失败。
  • 原Pod删除后，训练恢复失败。
  • 原Pod删除后，MindCluster等待上报训练恢复状态超时（15分钟）。
• 配置亚健康热切策略后，会自动增加进程级恢复开关，若发生非亚健康故障，将触发进程级恢复流程。
• 无备节点场景下，无法完成热切流程，任务亚健康处理策略降级为ignore，不再处理亚健康故障。

支持的产品型号和AI框架

亚健康热切原理

图1 原理图

在以上原理图中，各个步骤的说明如下。

1. ClusterD通过Ascend Device Plugin感知到亚健康故障。
2. ClusterD根据配置策略决策是否进行亚健康热切恢复。
3. ClusterD通知Ascend Operator拉起备份Pod。
4. Volcano调度备份Pod。
5. 备份Pod中创建新的MindIO Processor，MindIO Processor向MindIO Controller发起注册。
6. MindIO Controller下发训练暂停通知。
7. MindIO Controller通知ClusterD训练暂停。
8. ClusterD通知Volcano删除故障Pod。
9. ClusterD通知MindIO恢复训练。

适配功能点

在亚健康热切中，集群大脑根据亚健康故障信息，为故障Pod设置注解，拉起并调度备份Pod，通知热切策略到MindIO，训练切换到备份Pod后恢复训练。在训练容器中，框架首先初始化MindIO服务，启动服务后优化器更新时会上报对应状态到MindIO。在异常发生时，通过异常捕获装饰器捕获故障模式。在新节点启动后，正常节点暂停训练，之后重建通信域，完成新节点参数面恢复，训练状态完成后完成节点热切换。

对于非MindSpeed-LLM、MindCluster平台用户，需在框架侧完成表2的功能适配。