背景概述在 Atlas 900 A3 SuperPoD 超节点场景下，多机多卡训练作业通常通过容器化方式部署。当作业仅使用节点部分 Device时，若 CANN 软件栈版本较低，可能在跨节点通信初始化阶段出现逻辑校验错误，导致作业无法拉起。该问题主要涉及 RTS组件及 rtIpcOpenNotify 接口在物理 ID 与逻辑 ID 映射处理上的兼容性缺陷。问题现象在 Atlas 900 A3 SuperPoD 集群执行分布式 RL 作业（例如 6 机 64 卡配置，每节点仅使用 8 个 Device）时，作业启动失败，进程异常退出。查看 Plog 日志，发现首个报错信息为 EL0003参数不正确。具体报错涉及 RTS 组件在通过物理 Device ID 查询 Device 时，上报入参错误。原因分析 1. 日志特征与报错定位通过检查 Plog 日志，发现报错主要集中在 Worker-0 和 Worker-6 节点。进一步分析发现，报错的 Device 数量为 6 个，且其上报的 ID 序号正好对应通信对端 Worker 容器启动时使用的 Device ID。同时，报错的两个节点在通信拓扑中互为对端。 2. 根因定位经深入排查 CANN 代码及 RTS 组件日志，确认问题根因如下：在超节点（SuperPoD）场景下，CANN 代码中的 rtIpcOpenNotify 接口（用于通信两端共享卡 ID、IP 等内部接口）存在逻辑缺陷。主机端在获取对端物理 ID 后，尝试查询对应的逻辑 ID。然而，当两端使用的 Device 物理 ID 不一致时，主机端驱动对该物理 ID 的校验失败，从而抛出 EL0003 错误。在该特定场景下，系统不应尝试获取对端物理 ID 对应的逻辑 ID，相关校验逻辑属于冗余且错误的实现。问题根因 CANN 代码中 rtIpcOpenNotify 接口在超节点场景下，错误地尝试使用对端物理 ID 查询逻辑 ID。当通信两端 Device 的物理 ID 不相同时，主机端驱动校验失败，导致作业退出。此问题仅在超节点场景且非全量 Device 使用时触发。解决措施 1. 长期解决方案该问题已在 CANN 后续版本中修复。建议将 CANN 软件栈升级至 8.2.RC2 或更高版本。升级后，相关代码逻辑已修正，作业可正常运行。 2. 临时规避方案若暂时无法升级 CANN 版本，可通过以下两种方式规避该问题： 1.使用全量 Device：在拉起作业容器时，使用节点上的所有 16 个 Device（而非仅使用部分 Device）。 2.指定相同 Device ID：明确为每个 Worker 容器指定相同的物理 Device ID，确保通信对端之间的 ID 映射一致。