--- title: Atlas 900 A2 PoD 长稳作业中 getnext 算子超时问题排查与解决-官方技术文章-昇腾社区 description: 在中心训练场景下，基于 Atlas 900 A2 PoD 硬件平台运行 TensorFlow 2.6.5 框架的长稳训练任务时，偶发出现任务异常退出现象。日志中频繁出现 E39999 错误码，且首报错进程伴随 HDC send err ret(25) 打印。该问题影响训练任务的稳定性，需快速定位根因并制定有效应对策略。 keywords: Atlas,PoD,长稳作业中,算子超时问题,排查与解决,官方技术文章,昇腾社区,背景概述 url: https://www.hiascend.com/developer/techArticles/20260708-5 section: (其他) --- # Atlas 900 A2 PoD 长稳作业中 getnext 算子超时问题排查与解决-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20260708-5 描述: 在中心训练场景下，基于 Atlas 900 A2 PoD 硬件平台运行 TensorFlow 2.6.5 框架的长稳训练任务时，偶发出现任务异常退出现象。日志中频繁出现 E39999 错误码，且首报错进程伴随 HDC send err ret(25) 打印。该问题影响训练任务的稳定性，需快速定位根因并制定有效应对策略。 关键词: Atlas,PoD,长稳作业中,算子超时问题,排查与解决,官方技术文章,昇腾社区,背景概述 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) Atlas 900 A2 PoD 长稳作业中 getnext 算子超时问题排查与解决 Atlas 900 A2 PoD 长稳作业中 getnext 算子超时问题排查与解决 Ascend C模型训练 发表于: 2026/07/08 9 0 ## 背景概述 在Atlas 900 A2 PoD 硬件平台运行 TensorFlow 2.6.5 框架的训练任务时，偶发出现任务异常退出现象。日志中频繁出现`E39999`错误码，且首报错进程伴随`HDC send err ret(25)`。 ## 问题现象 ● 任务类型：TensorFlow 2.6.5 ● 运行环境：CANN 8.2.RC1，Atlas 900 A2 PoD ● 典型报错： ○ 打屏日志中出现`E39999`错误 ○ 首报错进程日志中包含`HDC send err ret(25)`，但驱动状态正常，未生成 stackcore 文件 ● 关键线索：plog 日志中出现`SyncStream_AnonymousIterator0IteratorGetNext`相关打印，提示`getnext`算子异常 ## 排查过程 ### 1. 初步分析 plog 日志 通过分析首报错进程的`plog`日志，发现`E39999`错误与`getnext`算子调用存在强关联。进一步定位到`/plog/debug/device-0/device-xxxx.log`中 AICPU 回传日志，确认`AnonymousIterator`算子在执行`GetNext`时发生异常。 `getnext`算子主要负责从 Host 内存向 Device 内存搬运数据，其执行本身应为快速操作。若出现超时，优先排查 Host 侧数据准备是否延迟。 ### 2. 定位核心瓶颈：Host 数据读取延迟 结合`getnext`算子的职责，将排查重点转向数据加载路径。通过分析训练任务运行期间的系统资源使用情况，发现对应时间点存在以下现象： ● 存储访问带宽接近或达到上限 ● 数据读取延迟显著增加 ● 与`getnext`超时时间窗口高度重合 进一步联合云平台存储侧团队排查，确认该时间段内存在多个业务并发读取同一存储资源（如 OBS 桶），导致带宽资源被占满，引发 Host 侧数据读取延迟。 ## 问题根因 训练任务运行期间，其他业务大量预热数据，导致存储带宽被占满，Host 侧数据读取无法及时完成，进而引发`getnext`算子因等待超时而失败。 该问题在长稳作业中尤为明显，因数据读取压力持续累积，最终触发算子超时。 ## 解决措施 1. 临时缓解：由云平台侧临时提升目标存储资源的带宽上限，保障训练任务数据读取流畅。 2. 长期优化： ○ 增加存储带宽使用率的告警机制，实现异常提前发现。 ○ 优化任务调度策略，避免高带宽业务与训练任务共用同一存储路径。 ○ 在高负载场景下，优先使用独立或高带宽存储通道。 边框设置 无框线 边距 宽度 1磅 颜色 自由布局设置 整体布局 子模块 评论 修订记录 对正文进行的文本增删、样式修改都将标记为修订 自定义多级列表 列表设置 - 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 1. - a. - i. - 1. - a. - i. - 1. - a. - i. 前缀 无 序号 1 2 3 ... 后缀 . 编号格式 列表显示 继承层级 不继承 位置 对齐方式 默认 单元格边距 边距 默认 左边距 cm 右边距 cm 上边距 cm 下边距 cm 点赞 0 本页内容 背景概述 [了解详情](https://www.hiascend.com/#1KCjoz3XZ1nqZGqYspZiuX) 问题现象 [了解详情](https://www.hiascend.com/#2P6H4Th3uxZWjZ6Rnoj8B9) 排查过程 [了解详情](https://www.hiascend.com/#7BMQNXsX12dFcJCm2k4N8K) 问题根因 [了解详情](https://www.hiascend.com/#E47HxSp70q7dDgV1mUFNu) 解决措施 [了解详情](https://www.hiascend.com/#3g74arOgdRRD2dDraJGmzZ)