整体架构

断点续训整体架构

断点续训架构原理如图1所示。

图1 整体架构

其中各个部分的能力如下：

1. Ascend Device Plugin：故障发现组件，提供NPU资源管理、NPU芯片故障和NPU网络故障上报等能力。
2. NodeD：故障发现组件，提供节点健康状态、节点硬件（包括CPU、内存、芯片等部件）故障、灵衢网络故障和DPC共享存储故障上报能力。
3. Volcano：故障处理组件，提供故障任务重调度的能力。
4. Ascend Operator：为分布式训练任务创建Pod生成环境变量；提供静态组网集合通信所需的RankTable信息。
5. ClusterD：获取集群中所有Ascend Device Plugin和NodeD上报的数据，整理后发送给Volcano。
6. TaskD：提供昇腾设备上训练及推理任务的训练状态监测和训练状态控制能力。
7. Elastic Agent：提供与K8s集群的训练集群控制中心的通信功能，完成恢复训练。
8. MindIO TTP：在大模型训练过程中发生故障后，校验中间状态数据的完整性和一致性，生成一次临终CheckPoint数据，恢复训练时能够通过该CheckPoint数据恢复，减少故障造成的训练迭代损失。
9. 训练模型代码：需要进行断点续训相关能力的适配操作。

端到端流程

断点续训特性基于故障触发，触发成功后经过故障检测、故障恢复和训练恢复三个阶段后可恢复训练。

图2 端到端流程

各步骤说明如下：

1. 通过轮询的方式查询设备状态，Ascend Device Plugin从DCMI接口获取NPU状态以及NodeD上报的节点健康状态、节点硬件故障信息和灵衢网络故障信息，ClusterD整理所有的故障信息，确定最终故障状态后，上报给Volcano。
2. 查询到节点或芯片故障后，对故障节点或芯片进行隔离，防止再次调度到该设备上。
3. 停止训练进程，退出训练容器。
4. 节点或芯片故障后，系统会将训练任务重调度到健康的设备上，重启训练容器；该训练任务被重调度选择资源时，优先选用未导致本次训练任务重调度的节点。
5. 训练脚本重新拉起训练进程。
6. 运维人员可以根据节点或芯片的故障类型判断是否可进行热复位。
7. 进行故障热复位，使设备恢复健康状态。
8. 恢复后的设备自动重新加入集群中。
9. 不可恢复的设备通过运维监测系统上报告警。
10. 对不可恢复的设备进行线下人工维修和换件。

业务面故障触发的断点续训功能，将只执行上述步骤3~步骤5。

组件调用流程

断点续训组件调用流程如图3所示，组件功能说明如图3所示。

图3 架构原理

各步骤说明如下：

1. Ascend Device Plugin发现和上报故障及健康状态。
2. NodeD更新节点硬件故障信息，以便Volcano可以准确判断节点故障类型。
3. ClusterD根据Ascend Device Plugin提供的芯片信息，判断芯片是否健康。
4. ClusterD获取NodeD上报的故障信息。
5. ClusterD将收集来的芯片及节点信息汇总后，放入ConfigMap。
6. Volcano获取整个集群的设备信息，若任务使用的设备上存在故障信息，Volcano会将任务调度到其他健康设备上。
7. Volcano按照亲和性规则选择节点和芯片，并由Ascend Operator创建新的Pod后，再调度训练任务到符合要求的节点上。
8. Ascend Device Plugin根据Pod上Volcano指定的芯片ID来分配芯片，并将芯片IP信息写入容器。
9. 容器启动之前，Ascend Docker Runtime为训练容器自动挂载NPU相关设备，驱动so等文件和目录。
10. Ascend Operator将训练任务需要的相关环境变量（如集合通信信息和训练配置信息等）写入容器中。并且获取训练任务容器上的芯片信息，自动生成分布式训练任务需要的集合通信信息。

使用条件

• 使用断点续训功能需要安装的组件详见所需组件章节。
• 断点续训特性是基于MindCluster集群调度组件的高阶特性，使用断点续训特性前需要完成的准备工作详见准备K8s和共享存储章节。