---
title: 在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”-昇腾社区
description: 配置RANK_TABLE_FILE的场景下，在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”，并且打印的operator name是具体的通信算子。
keywords: RuntimeError,在进行模型分,布式训练时遇,到报错,Inner,Error,昇腾社区,问题现象描述
url: https://www.hiascend.com/document/caselibrary/detail/ptacase_0042
section: (其他)
---

# 在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”-昇腾社区

URL: https://www.hiascend.com/document/caselibrary/detail/ptacase_0042
描述: 配置RANK_TABLE_FILE的场景下，在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”，并且打印的operator name是具体的通信算子。
关键词: RuntimeError,在进行模型分,布式训练时遇,到报错,Inner,Error,昇腾社区,问题现象描述

昇腾文档 [了解详情](https://www.hiascend.com/document)

故障案例 [了解详情](https://www.hiascend.com/document/caselibrary)

在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”

在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”

2025/03/18

677

问题信息

| 问题来源 | 产品大类 | 产品子类 | 关键字 |
| --- | --- | --- | ---|
| 官方 | 模型训练 | PyTorch | -- |

#### 问题现象描述

配置RANK_TABLE_FILE的场景下，在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...”，并且打印的operator name是具体的通信算子。

#### 原因分析

原有协商建链方式中，在socket协商和协商后的建链阶段都会有对应的超时时间，为HCCL_CONNECT_TIMEOUT对应的时间。而在ranktable建链方式中，不存在socket协商，直接开始了建链，对应建链阶段的超时时间也为HCCL_CONNECT_TIMEOUT对应的时间。因此，就可能存在原流程中建链成功但ranktable建链超时的情况。

#### 解决措施

可以选择修改环境变量HCCL_CONNECT_TIMEOUT来解决该问题。

在HCCL_CONNECT_TIMEOUT原有时间的基础上增加30秒。如原超时时间为120秒，可进行如下设置：

```
export HCCL_CONNECT_TIMEOUT=150
```

最后，再次运行模型。

本页内容

- 问题信息
- 问题现象描述
- 原因分析
- 解决措施