背景概述在 800T A2 设备进行大模型部署，尝试启动 DeepSeek-V3 模型。该场景涉及 4 台服务器，在部署过程中，发现集群中仅有一台服务器能正常加载模型并启动服务，其余三台服务器在启动过程中均抛出 ConnectionRefusedError: [Errno 111] Connection refused 错误，导致分布式服务无法拉起。问题现象在 4 台 800T A2 设备上部署 DeepSeek-V3 模型服务时，出现以下异常： ●正常节点：1 台服务器模型加载正常，服务启动成功。 ●异常节点：3 台服务器启动失败，日志报错 ConnectionRefusedError: [Errno 111] Connection refused。排查过程针对上述现象，我们从容器配置、网络通信、权重文件完整性及软件版本兼容性四个维度进行了系统性排查。 1. 容器启动配置检查首先检查 Docker 启动命令，确认设备挂载、网络模式及资源限制配置无误。启动参数包含所有 8 张 NPU 设备挂载、共享内存设置及必要的 Ascend 驱动路径映射。container_name='deepseek_v3' # 参数1：容器名称 image_id='2acbb0b1003d' # 参数2：镜像ID model_path='/data/Deepseek-V3-bf16/' # 参数3：权重路径 docker run -itd --privileged --name=$container_name --net=host --shm-size=500g \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \ -v /usr/local/sbin/:/usr/local/sbin/ \ -v /var/log/npu/slog/:/var/log/npu/slog \ -v /var/log/npu/profiling/:/var/log/npu/profiling \ -v /var/log/npu/dump/:/var/log/npu/dump \ -v /var/log/npu/:/usr/slog \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /data:/data \ $image_id /bin/bash 2. 分布式通信配置检查检查 ranktable 文件配置，确认 4 台服务器（共 32 卡）的 IP 地址、Device ID 及 Rank ID 映射关系正确。{ "version": "1.0", "server_count": "4", "server_list": [ { "server_id": "17*********12", "container_ip": "17*********12", "device": [ { "device_id": "0", "device_ip": "19********.2", "rank_id": "0" }, { "device_id": "1", "device_ip": "19********.2", "rank_id": "1" }, { "device_id": "2", "device_ip": "19********.2", "rank_id": "2" }, { "device_id": "3", "device_ip": "19********.2", "rank_id": "3" }, { "device_id": "4", "device_ip": "19********.2", "rank_id": "4" }, { "device_id": "5", "device_ip": "19********.2", "rank_id": "5" }, { "device_id": "6", "device_ip": "19********.2", "rank_id": "6" }, { "device_id": "7", "device_ip": "19********.2", "rank_id": "7" } ] }, { "server_id": "17*********11", "container_ip": "17*********11", "device": [ { "device_id": "0", "device_ip": "19********.2", "rank_id": "8" }, { "device_id": "1", "device_ip": "19********.2", "rank_id": "9" }, { "device_id": "2", "device_ip": "19********.2", "rank_id": "10" }, { "device_id": "3", "device_ip": "19********.2", "rank_id": "11" }, { "device_id": "4", "device_ip": "19********.2", "rank_id": "12" }, { "device_id": "5", "device_ip": "19********.2", "rank_id": "13" }, { "device_id": "6", "device_ip": "19********.2", "rank_id": "14" }, { "device_id": "7", "device_ip": "19********.2", "rank_id": "15" } ] }, { "server_id": "17*********13", "container_ip": "17*********13", "device": [ { "device_id": "0", "device_ip": "19********.2", "rank_id": "16" }, { "device_id": "1", "device_ip": "19********.2", "rank_id": "17" }, { "device_id": "2", "device_ip": "19********.2", "rank_id": "18" }, { "device_id": "3", "device_ip": "19********.2", "rank_id": "19" }, { "device_id": "4", "device_ip": "19********.2", "rank_id": "20" }, { "device_id": "5", "device_ip": "19********.2", "rank_id": "21" }, { "device_id": "6", "device_ip": "19********.2", "rank_id": "22" }, { "device_id": "7", "device_ip": "19********.2", "rank_id": "23" } ] }, { "server_id": "17*********14", "container_ip": "17*********14", "device": [ { "device_id": "0", "device_ip": "19********.2", "rank_id": "24" }, { "device_id": "1", "device_ip": "19********.2", "rank_id": "25" }, { "device_id": "2", "device_ip": "19********.2", "rank_id": "26" }, { "device_id": "3", "device_ip": "19********.2", "rank_id": "27" }, { "device_id": "4", "device_ip": "19********.2", "rank_id": "28" }, { "device_id": "5", "device_ip": "19********.2", "rank_id": "29" }, { "device_id": "6", "device_ip": "19********.2", "rank_id": "30" }, { "device_id": "7", "device_ip": "19********.2", "rank_id": "31" } ] } ], "status": "completed" } 3. 服务配置与网络连通性 ●Service Config：检查服务配置文件，确认参数设置符合规范。 ●网络连通性：执行网络连通性测试，确认各节点间通信正常。 ●TLS 配置：为确保通信顺畅，将四台机器的 TLS 状态设置为 0（关闭）。 4. 权重文件校验初步对比正常节点与其他异常节点的权重文件 SHA256 值，结果显示完全匹配，初步判断权重文件无异常。 ●校验命令：sha256sum ./*.safetensors ●参考源：DeepSeek-V3-bf16权重文件 5. 软件版本兼容性排查MindIE版本问题，发现MindIE 2.0.T3.1不支持32卡场景，更换MindIE 2.0.T3版本结果：更换版本后，问题依旧存在，报错未消除。 6. 排查权重文件更换版本无效，重新检查权重文件。发现 bf16 格式的权重文件在拷贝过程中发生丢失，导致模型加载失败。为验证此假设，尝试将权重文件替换为 int8 量化版本，成功拉起服务。问题根因经过综合排查，确定导致该问题的根本原因有两个： 1.软件版本兼容性：MindIE 2.0.T3.1 版本对 32 卡（4 机 8 卡）分布式场景支持不完善，需使用更稳定的 2.0.T3 版本。 2.数据完整性缺失：异常节点的 bf16 权重文件在传输/拷贝过程中出现丢失，导致模型无法完整加载。解决措施更换MindIE版本至2.0.T3，并且重新拷贝权重文件