全量部署场景

场景介绍

该场景适用于用户已经有一个部署好的Kubernetes集群,希望使用集群调度组件的所有特性,如NPU设备管理NPU优化调度断点续训(包括临终遗言)、推理卡故障重调度最小业务系统等特性。使用该场景时,需要在用户已有的Kubernetes集群上部署所有的集群调度组件。

安装组件列表

表1 全量部署场景安装组件列表

组件

功能说明

Ascend Docker Runtime

支持容器使用昇腾NPU。

Ascend Device Plugin

支持NPU设备管理功能。

Volcano

支持NPU优化调度、断点续训、推理卡故障重调度。

HCCL-Controller

支持为NPU训练任务生成ranktable file文件(也叫hccl.json文件)功能。

Ascend Operator

支持为NPU训练任务提供环境变量。

NodeD

支持断点续训(节点故障)功能。

NPU-Exporter

支持NPU设备管理中的状态监测功能。

Resilience-Controller

支持最小业务系统功能。

Elastic-Agent

支持断点续训的临终遗言功能。

组件部署方式说明

安装步骤

  1. 参考软件包说明,获取安装组件的软件包。
  2. 安装Ascend Docker Runtime,具体操作请参见安装Ascend Docker Runtime
  3. 参考制作镜像制作组件的镜像。

    如果NPU-Exporter选择使用二进制部署,不需要制作组件的镜像可跳过本步骤。

  4. 参考创建用户,在组件部署的节点上创建用户。
  5. 参考创建日志目录,在组件部署的节点上创建对应的日志目录。
  6. 参考导入证书和KubeConfig,导入NodeD、Resilience-Controller连接K8s使用的KubeConfig文件,如果使用ServiceAccount可以不导入KubeConfig文件,跳过本步骤。
  7. 参考创建命名空间,在K8s中创建命名空间。
  8. 参考创建节点标签,给节点打标签。
  9. 参考常用操作章节,启动各组件。