背景概述在使用 HCCL_Test 工具进行双机多卡通信性能测试时，遇到执行命令后进程长时间卡住，并伴随 No such file or directory 报错的现象。问题现象在双机容器环境中执行 HCCL_Test 测试脚本时，终端回显如下错误信息，且进程长时间处于挂起状态，无法自动退出：bash: /usr/local/mpich/bin/hydra_pmi_proxy: No such file or directory 原因分析 1. 检查系统日志首先，检查 Ascend 相关日志以排除底层驱动或固件层面的报错。执行命令：grep -rn ERROR -m 1 /root/ascend/log/ 结果分析：若日志中未发现明显报错，说明底层硬件驱动及基础运行环境基本正常，问题可能出在应用层或配置层。 2. 验证文件 HCCL_Test 依赖 MPICH 组件，需确认关键代理程序是否存在。执行命令：ll /usr/local/mpich/bin/hydra_pmi_proxy 结果分析：在双机各自的容器内检查，确认该文件均存在且具备执行权限。 3. 检查环境变量配置 HCCL_Test 启动需要特定的环境变量支持，请确保以下变量已正确加载：export INSTALL_DIR=/usr/local/Ascend/ascend-toolkit/latest export PATH=/usr/local/mpich/bin:$PATH export LD_LIBRARY_PATH=/usr/local/mpich/lib:LD_LIBRARY_PATH 结果分析：通过 env | grep 命令确认上述变量在当前 Shell 环境中已生效。 4. 测试网络连通性使用 hccn_tool 测试双机对应卡之间的网络连通性，确保物理链路及 RDMA 网络正常。执行命令（以 0 卡为例）：hccn_tool -i 0 -ping -g address <目标IP> 结果分析：若 0 卡 ping 0 卡、1 卡 ping 1 卡等均能通，说明底层网络通信链路正常。 5. 排查节点间 SSH 连接 HCCL_Test 在分布式场景下，依赖 SSH 协议实现节点间的免密登录与进程拉起。这是容器环境下最易被忽视的环节。 1.测试 SSH 连接目标：尝试从容器 A SSH 连接至容器 B 的 IP。ssh root@<目标容器IP> 现象：连接成功，但进入的是宿主机环境，而非目标容器环境。原因：容器默认未修改 SSH 端口，SSH 请求被宿主机的 SSH 服务拦截。由于宿主机未安装容器内的 MPICH 组件，导致后续执行 hydra_pmi_proxy 时提示 No such file or directory。 2.尝试修改端口后连接：若修改容器内 SSH 服务端口，再次连接可能遇到 Connection refused 错误。原因：容器镜像默认精简，可能未安装 openssh-server 服务，导致无法侦听 SSH 请求。问题根因在双机容器场景下，HCCL_Test 执行失败的根本原因在于容器内的 SSH 服务配置缺失： 1.端口冲突：容器未修改 SSH 默认端口（22），导致跨节点 SSH 连接请求被宿主机的 SSH 服务接管，进而因宿主机环境差异导致文件找不到。 2.服务缺失：容器镜像中未预装 openssh-server，导致即使修改端口，容器也无法作为 SSH Server 接受连接，从而阻断分布式测试的节点间通信。解决措施修改容器ssh连接默认端口，安装openssh-server。