---
title: MindIE2.3.0 双机推理拉起失败问题定位与解决-官方技术文章-昇腾社区
description: 在使用 MindIE 推理框架进行大规模专家并行（MoE）模型部署时，用户常需在多机环境下拉起分布式推理服务。从 MindIE 2.1 版本升级至 2.3.0 后，双机推理服务无法正常启动，表现为 gRPC 通信模块长时间阻塞在 wait slave connecting.. 状态，最终导致进程崩溃（core dumped）。本文将围绕该问题的排查过程、根因分析及解决方案进行详细说明，帮助开发者快
keywords: MindIE,双机推理拉起,失败问题定位,与解决,官方技术文章,昇腾社区,背景概述,问题现象
url: https://www.hiascend.com/developer/techArticles/20260603-3?envFlag=1
section: (其他)
---

# MindIE2.3.0 双机推理拉起失败问题定位与解决-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20260603-3?envFlag=1
描述: 在使用 MindIE 推理框架进行大规模专家并行（MoE）模型部署时，用户常需在多机环境下拉起分布式推理服务。从 MindIE 2.1 版本升级至 2.3.0 后，双机推理服务无法正常启动，表现为 gRPC 通信模块长时间阻塞在 wait slave connecting.. 状态，最终导致进程崩溃（core dumped）。本文将围绕该问题的排查过程、根因分析及解决方案进行详细说明，帮助开发者快
关键词: MindIE,双机推理拉起,失败问题定位,与解决,官方技术文章,昇腾社区,背景概述,问题现象

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

MindIE2.3.0 双机推理拉起失败问题定位与解决

MindIE2.3.0 双机推理拉起失败问题定位与解决

模型推理MindIE

发表于: 2026/06/05

## 背景概述

在使用 MindIE 推理框架进行大规模专家并行（MoE）模型部署时，用户常需在多机环境下拉起分布式推理服务。从 MindIE 2.1 版本升级至 2.3.0 后，双机推理服务无法正常启动，表现为 gRPC 通信模块长时间阻塞在`wait slave connecting..`状态，最终导致进程崩溃（core dumped）。本文将围绕该问题的排查过程、根因分析及解决方案进行详细说明，帮助开发者快速定位并规避类似问题。

## 问题现象

在完成 MindIE 2.3.0 升级后，尝试通过标准命令拉起 deepseek-v3-0324-w8a8 模型服务，双机部署环境下服务启动失败。日志输出显示 gRPC 通信模块在`grpc_communicator.cpp:212`处持续等待从机连接，长时间无响应，最终触发 core dump。

## 故障排查过程

### 1.通信链路检查

首先怀疑 gRPC 通信失败是否由网络问题引起，从以下方面进行排查：

1.1防火墙状态检查

确认系统防火墙未拦截通信端口：

```
systemctl status firewalld
```

1.2RoCE 链路连通性测试

使用 hccn_tool 工具对所有 NPU 卡间通信进行 ping 测试，验证链路是否正常：

```
echo -e "\nNPU 卡间通讯测试"
for j in {0..7}; do
    for i in {100..107}; do
        hccn_tool -i ${j} -ping -g address 10.0.0.${i}
    done
done
```

每张卡的 IP 地址通过以下命令获取：

```
for i in {0..7}; do hccn_tool -i $i -ip -g; done
```

测试结果显示所有卡间通信均正常，无丢包或超时。

结论：网络与 RoCE 链路无异常，问题不在底层通信。

### 2. 本地复现与环境变量分析

由于 2.1 版本可正常拉起，而 2.3 版本失败，且拉起命令与`ranktable.json`配置一致，初步判断问题可能与版本升级引入的环境依赖有关。在本地按标准双机部署流程复现，未复现问题。进一步对比客户环境变量后发现：`当删除 GRPC_POLL_STRATEGY 环境变量后，问题复现`。

## 根因分析

深入分析 MindIE 2.3.0 的构建与运行机制，发现以下关键点：

- 环境变量配置差异MindIE 2.3.0 在`set_env.sh`中显式配置了`GRPC_POLL_STRATEGY=poll`，该变量由`source /usr/local/Ascend/mindie/latest/mindie-llm/set_env.sh`加载。
- gRPC 版本与编译兼容性MindIE 2.3.0 使用低版本 g++（7.3.1）编译，其 gRPC 库对`epoll`模式支持存在兼容性限制，`仅支持 poll 模式`。而 2.1 版本因代码结构差异，仍可兼容`epoll`模式。
- 版本升级影响2.3.0 版本因代码重构，强制要求使用`poll`模式，若未正确加载环境变量，`GRPC_POLL_STRATEGY`未设置，gRPC 将默认使用`epoll`，导致通信初始化失败。

根本原因：用户未正确执行 source /usr/local/Ascend/mindie/set_env.sh，导致 GRPC_POLL_STRATEGY 未被设置，gRPC 通信模块因使用不兼容的 epoll 模式而无法建立连接。

## 解决措施

在运行推理服务前，必须正确加载 MindIE 环境变量，确保 gRPC 通信模式兼容。

### ✅ 正确操作步骤：

```bash
# 加载 MindIE 环境变量
source /usr/local/Ascend/mindie/set_env.sh
```

本页内容