整体架构

断点续训特性基于MindCluster Volcano、MindCluster HCCL Controller或MindCluster Ascend Operator、MindCluster Ascend Device Plugin、MindCluster NodeD和MindCluster Elastic Agent等组件，整体的架构如图1所示。

图1 整体架构图

其中各组件的能力如下：

1. MindCluster Ascend Device Plugin：故障发现组件，提供NPU资源管理、NPU芯片故障和NPU网络故障上报等能力。
2. MindCluster NodeD：故障发现组件，提供节点健康状态上报能力。
3. MindCluster Volcano：故障处理组件，提供故障任务重调度的能力。
4. MindCluster HCCL Controller：训练基础组件，提供分布式通信文件生成能力。当分布式训练信息基于环境变量时，可将其替换为MindCluster Ascend Operator。
5. MindCluster Elastic Agent：在数据并行、混合并行场景下提供策略恢复功能。
6. 训练模型代码：需要进行断点续训相关能力的适配操作。