1. 背景概述在高性能计算集群部署中，A800-9000服务器因其强大的算力常被用于大规模AI训练任务。此类服务器通常配备多张NPU（神经网络处理单元）卡，并通过HCCN（Huawei Cloud Computing Network）高速互联网络进行节点间通信。在实际部署与运维过程中，部分用户反馈在两台A800-9000服务器之间使用 hccn_tool 进行Ping测试时出现连通性故障。尽管物理链路状态正常，但网络层通信失败，严重影响集群初始化及业务调试进度。本文旨在梳理该问题的排查思路，分析根本原因，并提供标准化的解决方案。 2. 问题现象两台A800-9000服务器（每台设备配置4张NPU卡）之间无法通过 hccn_tool 实现Ping通。设备硬件配置如下，每台服务器均拥有4张NPU卡： 3. 排查与分析过程针对网络不通的问题，我们按照从底层链路到上层路由的逻辑进行了逐步排查。 3.1 链路层状态检查首先检查NPU的物理链路状态，确认硬件连接是否正常。for i in {0..3};do hccn_tool -i $i -link_stat -g; done 结果分析：所有NPU卡的Link状态均为 UP，表明物理链路连接正常，光模块及线缆无异常。 3.2 网络健康状态与侦测IP配置接着检查NPU的网络健康状态及侦测IP配置。# 查看网络健康状态 for i in {0..3}; do hccn_tool -i $i -net_health -g;done # 查看侦测IP配置 for i in {0..3}; do hccn_tool -i $i -netdetect -g ; done 结果分析： 1.网络健康状态显示，仅有一个NPU状态为 time out，其余为 INIT。 2.侦测IP配置发现，仅有一张NPU配置了侦测IP，其余未配置。处理措施：将缺失的侦测IP统一配置为 192.168.2.254，并再次检查网络健康状态。# 配置侦测IP for i in {0..3}; do hccn_tool -i $i -netdetect -s address 192.168.2.254; done # 再次检查网络健康状态 for i in {0..3}; do hccn_tool -i $i -net_health -g;done 结果分析：配置完成后，所有NPU的网络健康状态均变为 time out（注：此处指健康检测机制下的正常超时等待状态，非故障），表明基础网络探测功能已恢复。 3.3 IP、网关及MAC地址检查确认网络层基础配置是否正确，排除IP冲突或配置错误。# 查看IP配置 for i in {0..3}; do hccn_tool -i $i -ip -g;done # 查看网关配置 for i in {0..3}; do hccn_tool -i $i -gateway -g;done # 查看MAC地址 for i in {0..3}; do hccn_tool -i $i -mac -g;done 结果分析： 1.NPU配置的IP地址、子网掩码及网关均正确无误。 2.各NPU的MAC地址唯一，无冲突现象。 3.4 双向Ping测试与交换机侧排查为了定位丢包位置，进行了双向大包Ping测试，并检查交换机侧计数。 1.服务器Ping交换机：hccn_tool -i 0 -ping -g address 192.168.2.254 pkt 4096 结果：交换机侧有回应，说明服务器到交换机的上行链路正常。 2.交换机Ping服务器：检查交换机侧针对大包（2048-4095字节段）的计数。结果：交换机侧 Send 计数增加（报文已发出），但 Receive 计数未增加（服务器未回应）。初步结论：问题出在服务器侧接收或处理来自交换机的报文环节，而非物理链路或基础IP配置问题。 3.5 NPU工作模式分析最后，检查NPU的工作模式及策略路由配置。npu-smi info -t work-mode -i 0 结果分析： 1.NPU工作模式为 SMP（Symmetric Multi-Processing，对称多处理）。 2.系统中未配置策略路由。 4. 问题根因经过上述排查，确认问题根因如下：在 SMP模式下，多个NPU共享同一个操作系统内核及内存资源。当四张NPU网卡配置在同一网段时，操作系统内核在转发报文时，由于缺乏明确的策略路由指引，无法确定报文应从哪张物理网卡发出。同时，Linux内核的反向路径过滤（RPF, Reverse Path Filtering）机制会检查报文的源地址是否可达，若发现非预期路径返回的报文，则会将其丢弃，从而导致Ping不通的现象。 5. 解决措施为解决多网卡同网段下的路由选择及反向路径过滤问题，需配置策略路由（Policy-Based Routing, PBR），为每张NPU网卡指定独立的路由表及规则。 5.1 配置步骤请根据实际IP规划，替换命令中的占位符（如 %d）。步骤1：添加路由策略规则为每张NPU卡添加基于源IP的路由规则，将流量引导至对应的路由表。# 语法：hccn_tool -i [NPU索引] -ip_rule -a dir from ip [NPU_IP] table [路由表ID] # 示例：假设NPU 0的IP为192.168.2.1，路由表ID为100 hccn_tool -i 0 -ip_rule -a dir from ip 192.168.2.1 table 100 hccn_tool -i 1 -ip_rule -a dir from ip 192.168.2.2 table 101 hccn_tool -i 2 -ip_rule -a dir from ip 192.168.2.3 table 102 hccn_tool -i 3 -ip_rule -a dir from ip 192.168.2.4 table 103 参考文档：HCCN Tool IP Rule 配置指南步骤2：添加路由表项在对应的路由表中添加默认网关或目标网段的路由条目，指定出接口。# 语法：hccn_tool -i [NPU索引] -ip_route -a ip [目标网段] ip_mask [掩码] via [网关IP] dev eth [NPU索引] table [路由表ID] # 示例：在路由表100中添加默认路由，通过eth0（对应NPU 0）访问 hccn_tool -i 0 -ip_route -a ip 0.0.0.0 ip_mask 0 via 192.168.2.254 dev eth 0 table 100 hccn_tool -i 1 -ip_route -a ip 0.0.0.0 ip_mask 0 via 192.168.2.254 dev eth 1 table 101 hccn_tool -i 2 -ip_route -a ip 0.0.0.0 ip_mask 0 via 192.168.2.254 dev eth 2 table 102 hccn_tool -i 3 -ip_route -a ip 0.0.0.0 ip_mask 0 via 192.168.2.254 dev eth 3 table 103 参考文档：HCCN Tool IP Route 配置指南 5.2 验证配置完成后，再次执行Ping测试，确认两台服务器间网络互通正常。hccn_tool -i 0 -ping -g address <对端NPU_IP> 6. 总结与建议 SMP模式特性说明： SMP（Symmetric Multi-Processing）模式下，多个处理器（NPU）运行操作系统的单一副本，并共享内存及其他服务器资源。从管理视角看，多张NPU表现为单一系统实体。当多张网卡处于同一网段时，内核默认路由无法区分出口，且可能触发反向路径过滤导致报文丢弃。最佳实践建议： 1.策略路由配置：在A800-9000等采用SMP模式的多NPU服务器中，若多张NPU网卡配置在同一网段，必须配置策略路由，以确保报文能正确从指定网卡发出，并避免被内核丢弃。 2.网络规划：建议在集群规划阶段，为不同NPU卡分配不同的子网或VLAN，从物理或逻辑上隔离流量，降低配置复杂度。 3.文档参考：详细命令参数及高级用法请参考华为官方技术支持文档。