Ascend Operator

framework

• mindspore
• pytorch
• tensorflow

框架类型，目前只支持三种。

ring-controller.atlas

Atlas A2 训练系列产品和Atlas 900 A3 SuperPoD 集群算力系统：ascend-{xxx}b

使用Ascend Operator时，用于识别Atlas A2 训练系列产品、Atlas 900 A3 SuperPoD 集群算力系统和Atlas 训练系列产品，Atlas 训练系列产品不需要该参数。

schedulerName

默认值为“volcano”，用户需根据自身情况填写

Ascend Operator启用“gang”调度时所选择的调度器。

minAvailable

默认值为任务总副本数

Ascend Operator启用“gang”调度生效时，且调度器为Volcano时，任务运行最少副本数。

queue

默认值为“default”，用户需根据自身情况填写

Ascend Operator启用“gang”调度生效时，且调度器为Volcano时，任务所属队列。

（可选）successPolicy

• 默认值为空，若用户不填写该参数，则默认取空值。
• AllWorkers

表明任务成功的前提。空值代表只需要一个Pod成功，整个任务判定为成功。取值为“AllWorkers”表示所有Pod都成功，任务才判定为成功代表。

container.name

ascend

训练容器的名称必须是“ascend”。

（可选）ports

若用户未进行设置，系统默认填写以下参数：

• name：ascendjob-port
• containerPort：2222

分布式训练集合通讯端口。“containerPort”用户可根据实际情况设置，若未进行设置则采用默认端口2222。

replicas

• 单机：1
• 分布式：N

N为任务副本数。

image

-

训练镜像名称，请根据实际修改。

（可选）host-arch

Arm环境：huawei-arm

x86_64环境：huawei-x86

需要运行训练任务的节点架构，请根据实际修改。

分布式任务中，请确保运行训练任务的节点架构相同。

sp-block

指定逻辑超节点芯片数量，单机时需要和任务请求的芯片数量一致，分布式时需要是节点芯片数量的整数倍，且任务总芯片数量是其整数倍。

逻辑超节点内芯片数量。指定sp-block字段，集群调度组件会在物理超节点的基础上根据切分策略划分出逻辑超节点，用于训练任务的亲和性调度。

使用Atlas 900 A3 SuperPoD 集群算力系统产品的用户必须指定该字段，其他产品不需要该字段。

tor-affinity

• large-model-schema：大模型任务或填充任务
• normal-schema：普通任务
• null：不使用交换机亲和性
  说明：

  用户需要根据任务副本数，选择任务类型。任务副本数小于4为填充任务。任务副本数大于或等于4为大模型任务。普通任务不限制任务副本数。

默认值为null，表示不使用交换机亲和性调度。用户需要根据任务类型进行配置。

pod-rescheduling

• on：开启Pod级别重调度
• 其他值或不使用该字段：关闭Pod级别重调度

Pod级别重调度，表示任务发生故障后，不会删除所有任务Pod，而是将发生故障的Pod进行删除，重新创建新Pod后进行重调度。

subHealthyStrategy

• ignore：忽略该亚健康节点，后续任务会调度到该节点
• graceExit：不使用亚健康节点，并保存临终ckpt文件后，进行重调度，后续任务不会调度到该节点
• forceExit：不使用亚健康节点，不保存任务直接退出，进行重调度，后续任务不会调度到该节点。
• 默认取值为ignore。

节点状态为亚健康（SubHealthy）的节点的处理策略。

accelerator-type

• Atlas 800 训练服务器（NPU满配）：module
• Atlas 800 训练服务器（NPU半配）：half
• 服务器（插Atlas 300T 训练卡）：card
• Atlas 800T A2 训练服务器和Atlas 900 A2 PoD 集群基础单元：module-{xxx}b-8
• Atlas 200T A2 Box16 异构子框：module-{xxx}b-16

根据需要运行训练任务的节点类型，选取不同的值。

• （可选）如果节点是Atlas 800 训练服务器（NPU满配）可以省略该标签。
• Atlas 900 A3 SuperPoD 集群算力系统产品不需要accelerator-type字段，若任务yaml存在该字段，需要删除。

huawei.com/Ascend910

请求的NPU数量，请根据实际修改。

metadata.annotations['huawei.com/AscendXXX']

XXX表示芯片的型号，支持的取值为910，310和310P。取值需要和环境上实际的芯片类型保持一致。

Ascend Docker Runtime会获取该参数值，用于给容器挂载相应类型的NPU。

fault-scheduling

grace

配置任务采用优雅删除模式，并在过程中先优雅删除原Pod，15分钟后若还未成功，使用强制删除原Pod。

force

配置任务采用强制删除模式，在过程中强制删除原Pod。设置为force时需要将yaml中的terminationGracePeriodSeconds字段配置为0或者删除该字段。

off

该任务不使用断点续训特性，K8s的maxRetry仍然生效。

无（无fault-scheduling字段）

其他值

fault-retry-times

0 < fault-retry-times

处理业务面故障，必须配置业务面可无条件重试的次数。

无（无fault-retry-times）或0

该任务不使用无条件重试功能，无法感知业务面故障，vcjob的maxRetry仍然生效。

backoffLimit

0 < backoffLimit

任务重调度次数。任务故障时，可以重调度的次数，当已经重调度次数与backoffLimit取值相同时，任务将不再进行重调度。

无（无backoffLimit）或backoffLimit ≤ 0

不限制总重调度次数。

restartPolicy

• Never：从不重启
• Always：总是重启
• OnFailure：失败时重启
• ExitCode：根据进程退出码决定是否重启Pod，错误码是1~127时不重启，128~255时重启Pod。
  说明：

  vcjob类型的训练任务不支持ExitCode。

容器重启策略。当配置业务面故障无条件重试时，容器重启策略取值必须为“Never”。

terminationGracePeriodSeconds

0 < terminationGracePeriodSeconds < grace-over-time参数取值

容器收到SIGTERM到被K8s强制停止经历的时间，该时间需要大于0且小于volcano-v{version}.yaml文件中“grace-over-time”参数取值，同时还需要保证能够保存ckpt文件，请根据实际情况修改。具体说明请参考K8s官网容器生命周期回调。