后续操作

• 单卡场景下，修改训练入口文件例如main.py文件，在import torch_npu下方添加加粗字体信息。

  import torch
  import torch_npu
  torch_npu.npu.set_compile_mode(jit_compile=False)
  ......

• 多卡场景下，如果拉起多卡训练的方式为mp.spawn，则torch_npu.npu.set_compile_mode(jit_compile=False)必须加在进程拉起的主函数中才能使能二进制，否则使能方式与单卡场景相同。

  if is_distributed:
      mp.spawn(main_worker, nprocs=ngpus_per_node, args=(ngpus_per_node, args))
  else:
      main_worker(args.gpu, ngpus_per_node, args)
  def main_worker(gpu, ngpus_per_node, args):
      # 加在进程拉起的主函数中
     torch_npu.npu.set_compile_mode(jit_compile=False)
      ......

export MASTER_ADDR=127.0.0.1
export MASTER_PORT=29688
export HCCL_WHITELIST_DISABLE=1   

NPUS=($(seq 0 7))
export RANK_SIZE=${#NPUS[@]}
rank=0
for i in ${NPUS[@]}
do
    export DEVICE_ID=${i}
    export RANK_ID=${rank}
    echo run process ${rank}
    please input your shell script here > output_npu_${i}.log 2>&1 &
    let rank++
done

1. 在ModelArts执行训练任务前，需要修改Output Path输出目录下的路径映射配置文件ascend_modelarts_function/path_mapping_config.py：

   PATH_MAPPING_CONFIG = {
       'input': {
           # Add path mapping here for downloading data before training
           # format: <local path>: <obs/s3 path>
           # For example: '/data/dataset/imagenet': 'obs://dataset/imagenet',
           
       },
       'output': {
           # Add path mapping here for uploading output after training
           # format: <local path>: <obs/s3 path>
           # For example: './checkpoints': 'obs://outputs/',
           
       }
   }

   'input'中对应训练前需要下载的数据，映射格式为：本地运行时的数据路径:对应云端对象存储的路径。

   'output'中对应训练完成后需要上传的数据，映射格式为：训练生成的数据文件路径:生成文件在对象存储上的对应路径。

2. 针对单机多卡场景，ModelArts默认创建8个进程来执行分布式训练，与单卡转多卡功能提供的多卡运行方式类似，具体可参考run_distributed_npu.sh文件，因此ModelArts暂不支持通过torch.multiprocessing.spawn接口创建的多卡进程，仅支持通过命令行循环创建8个进程的方式进行分布式训练。在分布式训练运行前，需要在ModelArts训练作业的环境变量配置界面设置MASTER_ADDR为127.0.0.1、MASTER_PORT为29688和HCCL_WHITELIST_DISABLE为1。