多机多卡场景

环境准备

准备集群环境时，集群中的各个单机需要按照环境准备部署好环境，确保单机可以正常运行。

此外还需要进行按照如下操作进行集群配置。

1. 准备组网，以两台8卡服务器组网为例。

   通过交换机或光口直连的方式完成计算设备组网搭建。

2. 配置device IP。
   1. 在AI Server0上配置device IP，以下IP为示例。

         hccn_tool -i 0 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 1 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 2 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 3 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 4 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 5 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 6 -ip -s address 192.***.***.001 netmask 255.255.255.0
         hccn_tool -i 7 -ip -s address 192.***.***.001 netmask 255.255.255.0

   2. 在AI Server1上配置device IP，以下IP为示例。

         hccn_tool -i 0 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 1 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 2 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 3 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 4 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 5 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 6 -ip -s address 192.***.***.002 netmask 255.255.255.0
         hccn_tool -i 7 -ip -s address 192.***.***.002 netmask 255.255.255.0

   

   配置device IP需遵守以下规则：

   1. 针对Atlas 训练系列产品，AI Server中的第0/4、1/5、2/6、3/7号device需处于同一网段，第0/1/2/3号device在不同网段，第4/5/6/7号device在不同网段；对于集群场景，各AI Server对应的位置的device需处于同一网段，AI Server0和AI Server1的0号网卡需处于同一网段、1号网卡需要在同一网段。
   2. 针对Atlas A2 训练系列产品，多台节点的NPU在同一网段即可。
   3. 每个IP都不能冲突，相同网段下的IP需在最后8位做区分。
   3. 使用hccn_tool 配置网络检测对象IP，从device0 - devcie7 配置8次。

      hccn_tool -i 0 -netdetect -s address xx.xx.xx.xx
      #-s address：xx.xx.xx.xx是另外一台机器的device i的IP
      #-i：device序号

   4. 执行如下命令查看网络健康状态，确保两台机器间所有卡都连通。

      for  i  in  {0..7}; do  hccn_tool -i $i -net_health -g; done 

      回显如下所示：

      net health status: Success

      表1 回显说明

      字段	说明
      net health status	网络健康状态。 状态信息： 0：Success；1：Socket fail；2：Receive timeout；3：Unreachable；4：Time exceeded；5：Fault；6：Init；7：Thread error；8：Detect ip set；其它：Unknown。

   5. 使用hccn_tool工具验证device IP是否配置正确。
      1. 查询每个device的ip：

         hccn_tool -i 0 -ip -g

      2. 打印查询结果:

         ipaddr:192.***.***.001
         netmask:255.255.255.0

         如果返回success则表示已经连通。

3. 关闭防火墙。
   • Ubuntu系统防火墙关闭命令。

     ufw disable

   • Redhat或CentOS 7系统防火墙关闭命令。

     systemctl stop firewalld

4. 确认交换机状态正常。

   执行以下命令，返回值不为空则正常。

   for i in {0..7}; do hccn_tool -i $i -lldp -g; done

5. 修改模型。可参考模型脚本配置，将模型脚本上传至AI Server0和AI Server1任意路径下。
6. 拉起多机多卡训练。需注意以下要点：
   • 在所有脚本统一主节点的MASTER_PORT和MASTER_ADDR。
   • 配置相应的rank与world_size。

7. 查看host日志。

   所有host日志统一保存在~/ascend/log路径下，用户可以在该路径下查看每个host的device日志。

8. 由于Master节点允许处理的并发建链数受Linux内核参数“somaxconn”与“tcp_max_syn_backlog”的限制，所以，针对大规模集群组网，若“somaxconn”与“tcp_max_syn_backlog”取值较小会导致部分客户端概率性提前异常退出，导致集群初始化失败。

   大规模集群组网场景下，建议用户根据集群数量适当调整“somaxconn”与“tcp_max_syn_backlog”参数的值，例如：

   sysctl -w net.core.somaxconn=65535
   sysctl -w net.ipv4.tcp_max_syn_backlog=65535

   

   如果用户在物理机场景训练，则需要在物理机上配置以上命令；若是在容器场景训练，则需要在容器中配置以上命令。

模型脚本配置

本节以适配样例（DDP场景）章节的代码为样例，为用户介绍将单卡训练脚本修改为多卡训练脚本的核心步骤。

1. 在主函数中添加如下代码。
   1. 在shell脚本中循环传入local_rank变量作为指定的device。
      

      此操作以shell脚本方式修改为例，用户可参考拉起多卡训练脚本示例用其他方式进行修改。

      local_rank = int(os.environ["LOCAL_RANK"]) 

   2. 用local_rank自动获取device号。

      device = torch.device('npu', local_rank)

   3. 初始化，将通信方式设置为hccl。

      torch.distributed.init_process_group(backend="hccl",rank=local_rank)

2. 在获取训练数据集后，设置train_sampler。

   train_sampler = torch.utils.data.distributed.DistributedSampler(train_data)

3. 定义模型后，开启DDP模式。

   model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[local_rank], output_device=local_rank)

4. 将数据加载器train_dataloader与train_sampler相结合。

   train_dataloader = DataLoader(dataset = train_data, batch_size=batch_size, sampler = train_sampler)

启动脚本配置

有4种脚本启动方式可拉起多卡训练：

• shell脚本方式（推荐）
• Python方式
• torchrun方式
• torch_npu_run方式（集群场景推荐）：此方式是torchrun在大集群场景的改进版，提升集群建链性能。

附录拉起双机16卡训练中，以一个简单模型脚本为样例，展示了每种拉起方式脚本代码的修改方法以及各种拉起方式的适配方法，用户可以参考学习。