--- title: CANN 8.2.RC1 训练作业报错排查：Shape 数据缓存与异常 Dump 功能冲突-官方技术文章-昇腾社区 description: 在基于 CANN 8.2.RC1 版本进行大规模深度学习模型训练时，反馈训练作业在运行过程中偶发中断，并伴随 `EZ9903` 及 `EI0002` 等错误码退出。发现该问题主要出现在开启了 `HOST_CACHE_CAPACITY` 环境变量且同时触发异常算子 Dump 功能的场景下。 keywords: CANN,RC,Shape,训练作业报错,排查,数据缓存与异常,Dump,功能冲突 url: https://www.hiascend.com/developer/techArticles/20260720-2 section: (其他) --- # CANN 8.2.RC1 训练作业报错排查：Shape 数据缓存与异常 Dump 功能冲突-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20260720-2 描述: 在基于 CANN 8.2.RC1 版本进行大规模深度学习模型训练时，反馈训练作业在运行过程中偶发中断，并伴随 `EZ9903` 及 `EI0002` 等错误码退出。发现该问题主要出现在开启了 `HOST_CACHE_CAPACITY` 环境变量且同时触发异常算子 Dump 功能的场景下。 关键词: CANN,RC,Shape,训练作业报错,排查,数据缓存与异常,Dump,功能冲突 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) CANN 8.2.RC1 训练作业报错排查：Shape 数据缓存与异常 Dump 功能冲突 CANN 8.2.RC1 训练作业报错排查：Shape 数据缓存与异常 Dump 功能冲突 技术文章CANN 发表于: 2026/07/20 6 0 ## 背景概述 在基于 CANN 8.2.RC1 版本进行大规模深度学习模型训练时，反馈训练作业在运行过程中偶发中断，并伴随`EZ9903`及`EI0002`等错误码退出。发现该问题主要出现在开启了`HOST_CACHE_CAPACITY`环境变量且同时触发异常算子 Dump 功能的场景下。 ## 问题现象 在多节点（如 3 节点）训练作业中，任务运行一段时间后突然退出，日志中同时出现以下关键报错： ● EZ9903：通常关联于算子执行或通信异常。 ● EI0002：通常关联于引擎或调度异常。 检查日志发现，首报错节点具体断言失败信息为： text 1 Assert ((append_atomic_index_ptr) != nullptr) failed Assert ((append_atomic_index_ptr) != nullptr) failed ## 原因分析 ### 1. 日志分析 通过检查 plog 及控制台打印日志，确认首错节点为`worker1 device6`，错误类型为 GE 层的`E19999`，核心断言失败指向`append_atomic_index_ptr`为空。 ### 2. 功能排查 该报错发生在异常算子 Dump 功能尝试给算子 Tiling 数据添加维测数据的过程中。 排查指向 CANN 8.2.RC1 版本的一个已知特性交互问题： ● 异常算子 Dump 机制：在 CANN 8.2.RC1 及后续版本中，PyTorch/MS 框架默认开启 L0 Dump。当算子发生异常时，Dump 功能会在算子的 Tiling 数据后额外附加一个维测数据。 ● Shape 数据缓存机制：通过设置环境变量`HOST_CACHE_CAPACITY`可开启算子动态 Shape 数据缓存功能。 冲突点：当同时开启上述两项功能时，Dump 功能附加维测数据的操作会导致部分算子的 Tiling 数据总长度超过系统允许的最大长度限制，从而引发 GE 层的断言失败（`E19999`），进而导致作业崩溃。 ### 3. 版本特性说明 ● Shape 数据缓存功能：该功能默认未开启。在 CANN 8.3 版本中，该功能计划下线。 ● 替代方案：CANN 8.2.RC1 已默认启用新的`tiling cache`缓存机制作为替代，性能与稳定性更优，因此不再建议手动开启旧的 Shape 数据缓存功能。 ## 触发条件 该问题仅在同时满足以下三个条件时触发： 1. CANN 版本：8.2.RCx 系列。 2. 环境变量：作业配置中显式设置了`HOST_CACHE_CAPACITY`环境变量。 3. Dump 功能：开启了异常算子 Dump 功能（PyTorch/MS 框架默认开启 L0 Dump）。 ## 解决措施 ### 推荐方案：移除冲突环境变量 最直接且有效的解决方法是删除作业启动配置中的`HOST_CACHE_CAPACITY`环境变量。 由于 CANN 8.2.RC1 已默认启用更先进的`tiling cache`，移除该环境变量不会影响正常的 Shape 缓存需求，反而能避免与 Dump 功能的冲突，确保作业稳定运行。 ## 建议与总结 1. 功能弃用提示：鉴于 Shape 数据缓存功能将在后续版本（8.3）下线，且当前版本已有更优的`tiling cache`替代方案，建议开发者不要手动开启`HOST_CACHE_CAPACITY`环境变量。 2. 文档更新：CANN 8.2.RC1 官方文档中涉及 Shape 数据缓存功能的页面已添加明确提示，建议开发者在配置环境时参考最新文档说明。 3. 排查思路：当遇到 GE 层`E19999`或类似指针断言失败，且伴随 Dump 功能日志时，应优先检查是否开启了过时的缓存环境变量，并评估其与当前版本 Dump 机制的兼容性。 边框设置 无框线 边距 宽度 1磅 颜色 自由布局设置 整体布局 子模块 评论 修订记录 对正文进行的文本增删、样式修改都将标记为修订 自定义多级列表 列表设置 - 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 1. - a. - i. - 1. - a. - i. - 1. - a. - i. 前缀 无 序号 1 2 3 ... 后缀 . 编号格式 列表显示 继承层级 不继承 位置 对齐方式 默认 单元格边距 边距 默认 左边距 cm 右边距 cm 上边距 cm 下边距 cm 点赞 0 本页内容 背景概述 [了解详情](https://www.hiascend.com/#1l8E7mHjNTTdY36Xg7nGRk) 问题现象 [了解详情](https://www.hiascend.com/#5iSWWec7ALm9jHVzizIlSy) 原因分析 [了解详情](https://www.hiascend.com/#2vOVB8M44tu6HZmpQYJ7OT) 触发条件 [了解详情](https://www.hiascend.com/#2BM9R6ygrm8HWqVlyFQs5k) 解决措施 [了解详情](https://www.hiascend.com/#5B50G7KEqwxlPzpxT1ZE6L) 建议与总结 [了解详情](https://www.hiascend.com/#55Vzkq1ugcw3vdMaFRkeVG)