#!/bin/bash echo "==============================================================================================================" echo "Please run the script as: " echo "bash run_distributed_ascend.sh RANK_TABLE_FILE RANK_SIZE RANK_START DEVICE_START" echo "For example: bash run_distributed_ascend.sh /path/rank_table.json 8 0 0" echo "It is better to use the absolute path." echo "==============================================================================================================" execute_path=$(pwd) echo "${execute_path}" export RANK_TABLE_FILE=$1 export RANK_SIZE=$2 RANK_START=$3 DEVICE_START=$4 for((i=0;i<RANK_SIZE;i++)); do export RANK_ID=$((i+RANK_START)) export DEVICE_ID=$((i+DEVICE_START)) rm -rf "${execute_path}"/device_$RANK_ID mkdir "${execute_path}"/device_$RANK_ID cd "${execute_path}"/device_$RANK_ID || exit "please input your shell script here" > train$RANK_ID.log 2>&1 & done
参数 |
说明 |
---|---|
RANK_TABLE_FILE |
多卡环境的组网信息文件。 |
RANK_SIZE |
昇腾AI处理器的数量。 |
RANK_START |
指定调用昇腾AI处理器的逻辑起始ID,当前仅支持单机多卡,填0即可。 |
DEVICE_START |
指定调用昇腾AI处理器的物理起始ID。 |
该脚本会在工程路径下创建device_{RANK_ID}目录,在该目录内去执行网络脚本,所以替换训练Python脚本执行命令时要注意训练Python脚本相对路径的变化。
bash run_distributed_ascend.sh RANK_TABLE_FILE RANK_SIZE RANK_START DEVICE_START
具体MindSpore分布式训练(Ascend)请参见分布式并行训练 (Ascend)。
在GPU硬件平台上,MindSpore采用OpenMPI的mpirun进行分布式训练,可通过以下命令运行多卡脚本。
mpirun -n {多卡脚本运行的GPU卡数量} {模型原来的训练shell脚本执行命令}
具体MindSpore分布式训练(GPU)请参见分布式并行训练 (GPU)。