通过文件配置资源信息
通过文件变量配置资源信息支持创建以下3种类型的对象:acjob、vcjob及deploy。下面将以vcjob和deploy为例,介绍脚本适配的操作示例。

TensorFlow
- 下载TensorFlow代码仓中master分支中的“ResNet50_ID0360_for_TensorFlow2.X”作为训练代码,请根据该模型代码TensorFlow版本选择训练镜像中的TensorFlow版本包。
- 管理员用户上传数据集到存储节点。
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/resnet50/imagenet_TF”。
root@ubuntu:/data/atlas_dls/public/dataset/resnet50/imagenet_TF# pwd
回显示例如下:1
/data/atlas_dls/public/dataset/resnet50/imagenet_TF
- 执行du -sh命令,查看数据集大小。
root@ubuntu:/data/atlas_dls/public/dataset/resnet50/imagenet_TF# du -sh
回显示例如下:1
42G
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/resnet50/imagenet_TF”。
- 在本地解压1中下载的训练代码,将“ModelZoo-TensorFlow-master/TensorFlow2/built-in/cv/image_classification/”下的“ResNet50_ID0360_for_TensorFlow2.X”目录重命名为“ResNet50_for_TensorFlow_2.6_code/”目录。
- 将“ResNet50_for_TensorFlow_2.6_code”上传至环境的“/data/atlas_dls/public/code/”路径下。
- 进入“mindxdl-deploy”仓库,根据mindxdl-deploy开源仓版本说明进入版本对应分支。获取“samples/train/basic-training/ranktable”目录中的“train_start.sh”、“rank_table.sh”和“utils.sh”文件,结合3中的“ResNet50_for_TensorFlow_2.6_code”目录,在host的“/data/atlas_dls/public/code”路径下,构造如下的目录结构。
/data/atlas_dls/public/code/ResNet50_for_TensorFlow_2.6_code/ ├── scripts │ ├── train_start.sh │ ├── utils.sh │ ├── rank_table.sh │ ... │ ... ├── tensorflow │ ├── resnet_ctl_imagenet_main.py │ ├── resnet_model.py │ ├── resnet_runnable.py │ ... │ ... ├── benchmark.sh ├── modelzoo_level.txt ... └── requirements.txt
PyTorch
- 下载PyTorch代码仓中master分支的“ResNet50_ID4149_for_PyTorch”作为训练代码。
- 自行准备ResNet50对应的数据集,使用时请遵守对应规范。
- 管理员用户上传数据集到存储节点。
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/resnet50/imagenet”。
root@ubuntu:/data/atlas_dls/public/dataset/resnet50/imagenet# pwd
回显示例如下:1
/data/atlas_dls/public/dataset/resnet50/imagenet
- 执行du -sh命令,查看数据集大小。
root@ubuntu:/data/atlas_dls/public/dataset/resnet50/imagenet# du -sh
回显示例如下:1
11G
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/resnet50/imagenet”。
- 将1中下载的训练代码解压到本地,将解压后的训练代码中“ModelZoo-PyTorch/PyTorch/built-in/cv/classification/ResNet50_ID4149_for_PyTorch”目录上传至环境,如“/data/atlas_dls/public/code/”路径下。
- 进入“mindxdl-deploy”仓库,根据mindxdl-deploy开源仓版本说明进入版本对应分支。获取“samples/train/basic-training/ranktable”目录中的train_start.sh、rank_table.sh和utils.sh文件,在“/data/atlas_dls/public/code/ResNet50_ID4149_for_PyTorch/scripts”路径下,构造如下的目录结构。
root@ubuntu:/data/atlas_dls/public/code/ResNet50_ID4149_for_PyTorch/scripts# scripts/ ├── train_start.sh ├── utils.sh └── rank_table.sh
MindSpore
- 下载MindSpore代码仓中master分支的“ResNet”代码作为训练代码。
- 自行准备ResNet50对应的数据集,使用时请遵守对应规范。
- 管理员用户上传数据集到存储节点。
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/imagenet”。
root@ubuntu:/data/atlas_dls/public/dataset/imagenet# pwd
回显示例如下:1
/data/atlas_dls/public/dataset/imagenet
- 执行du -sh命令,查看数据集大小。
root@ubuntu:/data/atlas_dls/public/dataset/imagenet# du -sh
回显示例如下:1
11G
- 进入“/data/atlas_dls/public”目录,将数据集上传到任意位置,如“/data/atlas_dls/public/dataset/imagenet”。
- 在本地解压1中下载的训练代码,将“models/official/cv/”下的“ResNet”目录重命名为“ResNet50_for_MindSpore_2.0_code”。后续步骤以“ResNet50_for_MindSpore_2.0_code”目录为例。
- 将ResNet50_for_MindSpore_2.0_code文件上传至环境“/data/atlas_dls/public/code/”路径下。
- 进入“mindxdl-deploy”仓库,根据mindxdl-deploy开源仓版本说明进入版本对应分支。获取“samples/train/basic-training/ranktable”目录中的“train_start.sh”、“utils.sh”和“rank_table.sh”文件,结合训练代码中“scripts”目录,在host上构造如下的目录结构。
root@ubuntu:/data/atlas_dls/public/code/ResNet50_for_MindSpore_2.0_code/scripts/# scripts/ ├── cache_util.sh ├── docker_start.sh ├── run_standalone_train_gpu.sh ├── run_standalone_train.sh ... ├── rank_table.sh ├── utils.sh └── train_start.sh
父主题: 脚本适配