操作步骤

请根据使用须知里的介绍根据实际情况选择合适的yaml。

yaml示例为使用NFS的场景，NFS需要安装在存储节点，安装操作请参见安装NFS。

请从集群调度组件MindXDL-deploy中“3.0.0”分支下载yaml文件，yaml文件说明如表1所示。

表1 任务类型与硬件型号对应yaml文件
任务类型	硬件型号	训练框架	yaml文件	获取yaml	说明
Volcano Job	Atlas 800 训练服务器	Tensorflow	a800_tensorflow_vcjob.yaml	根据所使用的框架类型和任务类型，获取yaml	示例默认为单机8卡任务。
		Pytorch	a800_pytorch_vcjob.yaml
		MindSpore	a800_mindspore_vcjob.yaml
	服务器（插Atlas 300T 训练卡）	Tensorflow	a300t_tensorflow_vcjob.yaml		示例默认为单机单卡任务。
		Pytorch	a300t_pytorch_vcjob.yaml
		MindSpore	a300t_mindspore_vcjob.yaml
Deployment	Atlas 800 训练服务器	Tensorflow	a800_tensorflow_deployment.yaml		示例默认为单机8卡任务。
		Pytorch	a800_pytorch_deployment.yaml
		MindSpore	a800_mindspore_deployment.yaml
	服务器（插Atlas 300T 训练卡）	Tensorflow	a300t_tensorlfow_deployment.yaml		示例默认为单机单卡任务。
		Pytorch	a300t_pytorch_deployment.yaml
		MindSpore	a300t_mindspore_deployment.yaml

将yaml文件上传至管理节点任意目录，并根据实际情况修改文件内容，部分参数说明如表2所示。

表2 yaml文件参数说明
参数	取值	说明
minAvailable	单机：1 分布式：N	N为节点个数，Deployment类型的任务不需要该参数，该参数建议与replicas保持一致。
replicas	单机：1 分布式：N	N为节点个数。
image	-	训练镜像名称，请根据实际修改。
host-arch	ARM环境：huawei-arm X86环境：huawei-x86	需要运行训练任务的节点架构，请根据实际修改。分布式任务中，请确保运行训练任务的节点架构相同。
accelerator-type	Atlas 800 训练服务器：module Atlas 800 训练服务器（NPU半配）：half 服务器（插Atlas 300T 训练卡）：card	根据需要运行训练任务的节点类型，选取不同的值。（可选）如果节点是Atlas 800 训练服务器（NPU满配），可以省略该标签。
huawei.com/Ascend910	Atlas 800 训练服务器：单机单芯片：1 单机多芯片：2、4、8 分布式：8 Atlas 800 训练服务器（NPU半配）：单机单芯片：1 单机多芯片：2、4 分布式：4 服务器（插Atlas 300T 训练卡）：单机单芯片：1 单机多芯片：2 分布式：2	请求的NPU数量，请根据实际修改。

以a800_tensorflow_vcjob.yaml为例，两个Atlas 800 训练服务器节点，以执行2*8芯片分布式训练任务，修改如下。

...
minAvailable: 2                # 2节点分布式任务则为2，N节点则为N。Deployment类型的任务不需要该参数
...
- name: "default-test"
    replicas: 2                  # N节点分布式场景为N，且requests字段的NPU的数目为8
    template:
      metadata:
...
          resources:  
            requests:
              huawei.com/Ascend910: 8          # 需要的NPU芯片个数为8。可在下方添加行，配置memory、cpu等资源
            limits:
              huawei.com/Ascend910: 8          # 目前需要和上面requests保持一致
...

若需要配置cpu、memory资源，请参见如下示例，具体数值请根据实际情况配置。

...
          resources:  
            requests:
              huawei.com/Ascend910: 8
              cpu: 100m                # means 100 milliCPU.For example 100m CPU, 100 milliCPU, and 0.1 CPU are all the same
              memory: 100Gi            # means 100*2³⁰ bytes of memory
            limits:
              huawei.com/Ascend910: 8
              cpu: 100m
              memory: 100Gi
...

如下所示，训练命令中的“train_start.sh”后跟的三个参数依次为容器内训练代码目录、日志文件、启动脚本相对代码目录的路径。之后的以“--”开头的参数为训练脚本需要的参数。单机和分布式训练脚本、脚本参数可参考模型脚本来源处的模型说明修改。

TensorFlow命令参数

...
command:
- "/bin/bash"
- "-c"
- "cd /job/code/ResNet50_for_TensorFlow_2.6_code/scripts;chmod +x train_start.sh;bash train_start.sh /job/code/ResNet50_for_TensorFlow_2.6_code/ /job/output/logs tensorflow/resnet_ctl_imagenet_main.py --data_dir=/job/data/imagenet_TF/  --distribution_strategy=one_device --use_tf_while_loop=true  --epochs_between_evals=1 --skip_eval --enable_checkpoint_and_export --model_dir=/job/output "# 此处省略部分参数
...

PyTorch命令参数

...
command:
- "/bin/bash"
- "-c"
- "cd /job/code/ResNet50_for_PyTorch_1.5_code/scripts;chmod +x train_start.sh;bash train_start.sh /job/code/ResNet50_for_PyTorch_1.5_code/ /job/output/logs DistributedResnet50/main_apex_d76_npu.py --data=/job/data/imagenet --seed=49 --worker=128  --print-freq=1 --dist-url='tcp://127.0.0.1:50000' --dist-backend='hccl' --multiprocessing-distributed --benchmark=0 --device='npu';"# 此处省略部分参数
...

MindSpore命令参数

...
command:
- "/bin/bash"
- "-c"
- "cd /job/code/ResNet50_for_MindSpore_1.9_code/scripts;chmod +x train_start.sh;bash train_start.sh /job/code/ResNet50_for_MindSpore_1.9_code/ /job/output/logs train.py --data_path=/job/data/imagenet/train --dataset=resnet50  --output_path=/job/output/ --run_distribute=True --device_num=8..."# 此处省略部分参数
...

yaml为使用NFS场景，需要指定NFS服务器地址、训练数据集路径、脚本路径和训练输出路径，请根据实际修改。如果不使用NFS请根据K8s相关指导自行修改。

...
          volumeMounts:
          - name: ascend-910-config
            mountPath: /user/serverid/devindex/config
          - name: code
            mountPath: /job/code/                     # 容器中训练脚本路径
          - name: data
            mountPath: /job/data                      # 容器中训练数据集路径
          - name: output
            mountPath: /job/output                    # 容器中训练输出路径
...
        volumes:
...
        - name: code
          nfs:
            server: 127.0.0.1        # NFS服务器IP地址。
            path: "xxxxxx"           # 配置训练脚本路径
        - name: data
          nfs:
            server: 127.0.0.1
            path: "xxxxxx"           # 配置训练集路径
        - name: output
          nfs:
            server: 127.0.0.1
            path: "xxxxxx"           # 设置脚本相关配置模型保存路径
...

创建任务yaml

操作步骤