背景概述 Atlas 900 A3 SuperPoD集群中，HCCL带宽异常（如降至70GB/s）多因配置不当导致通信链路降级使用RoCE而非高速HCCS。建议校正环境变量或ranktable以确保选择最优HCCS路径，确保超节点内48节点allreduce带宽不低于94.47GB/s，保障大规模分布式训练效率。问题现象在进行 Atlas 900 A3 SuperPoD 超节点内的 HCCL 多机带宽测试时，观察到以下异常： ●带宽数值偏低：实测多机带宽约为 70 GB/s，显著低于正常基准值（约 100 GB/s）。 ●通信链路异常：通过日志分析发现，节点间实际采用了 RoCE 协议进行通信，而非预期的 HCCS 高速互联。原因分析经过对正常场景与异常场景的对比排查，发现核心差异在于 HCCL_LOGIC_SUPERPOD_ID 环境变量的配置一致性。 1. 正常场景在正常运行的多节点 HCCL 测试中，所有节点均未显式设置 HCCL_LOGIC_SUPERPOD_ID。此时，HCCL 能够识别节点位于同一超节点内，自动优先使用 HCCS 链路进行通信，从而获得高带宽。 2. 异常场景异常场景下HCCL test主节点设置HCCL_LOGIC_SUPERPOD_ID为-1，其他节点未设置，配置不同导致节点间使用roce通信 3. 根本原因由于未正确指定逻辑超节点ID（HCCL_LOGIC_SUPERPOD_ID），HCCL错误地选择了跨节点的RoCE链路而非节点内部的HCCS高速链路进行通信，导致测试带宽显著低于HCCS基线性能解决措施将HCCL_LOGIC_SUPERPOD_ID环境变量以-x形式添加在mpirun启动命令中建议与总结为了优化 HCCL 测试体验并避免类似问题，建议遵循以下最佳实践： 1、针对A3的多机通信方式，可以通过ASCEND_GLOBAL_LOG_LEVEL=1设置info级别日志，在日志中搜索transporttype确认通信方式。 2、HCCL_LOGIC_SUPERPOD_ID相同的节点，会优先走HCCS通信。如果不在同一超节点内，没有HCCS链路互联，依然会走ROCE通信。 3、 openmpi拉起HCCL TEST时，需要使用-x 环境变量的形式添加在mpirun命令中。使用openmpi时，如果需要针对不同节点进行设置特定的环境变量，可以通过/etc/bashrc/或~./bashrc等文件设置系统环境变量。 4、 HCCL_BUFFSIZE 环境变量用于控制NPU之间共享缓存区大小，默认为200，单位为M。设置更高的HCCL_BUFFSIZE可以提高HCCL TEST的带宽测试结果。