安装前必读
组件介绍
集群调度组件的功能介绍,请参见表1。
组件 |
功能介绍 |
|---|---|
MindCluster Ascend Docker Runtime |
为训推任务提供容器化支持,自动挂载所需文件和设备依赖。 |
MindCluster Ascend Device Plugin |
基于Kubernetes设备插件机制,提供昇腾AI处理器的设备发现、分配和健康状态上报功能,使能Kubernetes管理昇腾AI处理器资源。 |
MindCluster NPU Exporter |
实时监测昇腾AI处理器的资源指标,获取如昇腾AI处理器的利用率、温度、电压等信息。 |
MindCluster Volcano |
基于开源Volcano调度插件机制,增加昇腾AI处理器的亲和性调度、故障重调度等特性,最大化发挥昇腾AI处理器计算性能。 |
MindCluster ClusterD |
提供集群级别的可用资源信息。收集集群任务信息、资源信息和故障信息及影响范围,从任务、芯片和故障维度统计分析。 |
MindCluster Ascend Operator |
提供训练任务生命周期管理,为不同AI框架的分布式训练任务提供相应的环境变量。 |
MindCluster HCCL Controller |
生成分布式训练任务依赖的集合通讯配置。 |
MindCluster NodeD |
提供节点状态上报功能,上报如节点心跳、CPU和内存等故障信息。 |
MindCluster Resilience Controller |
提供弹性缩容训练服务。在训练任务使用的硬件发生故障时,剔除该硬件并继续训练。 |
MindCluster Elastic Agent |
提供训练任务故障时刻保存临终CheckPoint能力。 |
安装环境说明
- 根目录的磁盘空间利用率高于85%会触发kubelet的资源驱逐机制,将导致服务不可用。请确保根目录有足够的磁盘空间,磁盘空间要求说明请参见操作系统磁盘分区;驱逐策略请查看Kubernetes官方文档。
- Arm架构和x86_64架构使用的集群调度组件镜像不能相互兼容。
- K8s默认的证书有效期为365天,到期前需要用户自行更新。
组件部署说明
安装部署集群调度组件时,可以参考图1,将相应的集群调度组件或其他第三方软件安装到相应的节点上。大部分组件都使用容器化方式部署;MindCluster Ascend Docker Runtime使用二进制方式部署;只有MindCluster NPU Exporter组件既可以使用容器化方式部署,又可以使用二进制方式部署。
日志路径说明
- MindCluster Ascend Docker Runtime日志路径为“/var/log/ascend-docker-runtime/”。
- 其他集群调度组件日志路径可参考创建日志目录章节信息。

