背景概述

在使用 MindIE 推理框架进行大规模专家并行（MoE）模型部署时，用户常需在多机环境下拉起分布式推理服务。从 MindIE 2.1 版本升级至 2.3.0 后，双机推理服务无法正常启动，表现为 gRPC 通信模块长时间阻塞在 wait slave connecting.. 状态，最终导致进程崩溃（core dumped）。本文将围绕该问题的排查过程、根因分析及解决方案进行详细说明，帮助开发者快速定位并规避类似问题。

问题现象

在完成 MindIE 2.3.0 升级后，尝试通过标准命令拉起 deepseek-v3-0324-w8a8 模型服务，双机部署环境下服务启动失败。日志输出显示 gRPC 通信模块在 grpc_communicator.cpp:212 处持续等待从机连接，长时间无响应，最终触发 core dump。

故障排查过程

1.通信链路检查

首先怀疑 gRPC 通信失败是否由网络问题引起，从以下方面进行排查：

1.1防火墙状态检查

确认系统防火墙未拦截通信端口：

systemctl status firewalld

1.2RoCE 链路连通性测试

使用 hccn_tool 工具对所有 NPU 卡间通信进行 ping 测试，验证链路是否正常：

echo -e "\nNPU 卡间通讯测试"
for j in {0..7}; do
    for i in {100..107}; do
        hccn_tool -i ${j} -ping -g address 10.0.0.${i}
    done
done

每张卡的 IP 地址通过以下命令获取：

for i in {0..7}; do hccn_tool -i $i -ip -g; done

测试结果显示所有卡间通信均正常，无丢包或超时。

结论：网络与 RoCE 链路无异常，问题不在底层通信。

2. 本地复现与环境变量分析

由于 2.1 版本可正常拉起，而 2.3 版本失败，且拉起命令与 ranktable.json 配置一致，初步判断问题可能与版本升级引入的环境依赖有关。在本地按标准双机部署流程复现，未复现问题。进一步对比客户环境变量后发现：当删除 GRPC_POLL_STRATEGY 环境变量后，问题复现。

根因分析

深入分析 MindIE 2.3.0 的构建与运行机制，发现以下关键点：

• 环境变量配置差异
       MindIE 2.3.0 在 set_env.sh 中显式配置了 GRPC_POLL_STRATEGY=poll，该变量由 source /usr/local/Ascend/mindie/latest/mindie-llm/set_env.sh 加载。
• gRPC 版本与编译兼容性
       MindIE 2.3.0 使用低版本 g++（7.3.1）编译，其 gRPC 库对 epoll 模式支持存在兼容性限制，仅支持 poll 模式。而 2.1 版本因代码结构差异，仍可兼容 epoll 模式。
• 版本升级影响
       2.3.0 版本因代码重构，强制要求使用 poll 模式，若未正确加载环境变量，GRPC_POLL_STRATEGY 未设置，gRPC 将默认使用 epoll，导致通信初始化失败。

根本原因：用户未正确执行 source /usr/local/Ascend/mindie/set_env.sh，导致 GRPC_POLL_STRATEGY 未被设置，gRPC 通信模块因使用不兼容的 epoll 模式而无法建立连接。

解决措施

在运行推理服务前，必须正确加载 MindIE 环境变量，确保 gRPC 通信模式兼容。

✅ 正确操作步骤：

# 加载 MindIE 环境变量
source /usr/local/Ascend/mindie/set_env.sh