背景概述

在大规模分布式深度学习训练场景中，算子调度与执行的稳定性直接关系到训练任务的顺利完成。Atlas 900 A2 POD作为高性能AI训练平台，广泛应用于大模型训练任务。在实际使用过程中，部分用户反馈在128节点训练作业中出现多节点同时上报AIV算子超时（80CB800A）及复位失败（80CB8001）告警，影响训练流程的正常推进。本文基于实际日志分析，系统梳理问题现象、根因定位与解决方案，为开发者提供可复用的排查与优化路径。

问题现象

在128节点分布式训练作业过程中，多个计算节点在相同时间点（2025-09-26T11:18:19）集中上报以下告警：

npu(task_id: worker-23, logic_id: 1) recover failed(fault_codes=80CB8001,80CB800A)

日志截图显示，3个节点在同一时间点出现该异常，且伴随AIV算子执行失败。该问题导致训练任务中断，需人工干预恢复。

原因分析

AIV算子超时（80CB800A）定位

通过分析故障节点的plog日志，搜索fault kernel_name，在告警时间点发现以下算子报错：

aiv_reduce_scatter_float
RmsNormGrad_bf16_bf16_high_performance_1

结合日志上下文，该类算子触发了[vector core timeout]，确认为AIV算子执行超时。

内存异常排查

在超时发生前约10分钟，日志中曾出现device error: out of memory（OOM）提示。但该事件与后续算子超时无直接因果关系，因OOM后系统已触发内存回收与释放，可排除内存资源不足为根本原因。

HCCL算子编排配置异常

进一步分析run/plog目录下环境变量配置，发现HCCL_OP_EXPANSION_MODE被显式设置为[AIV]：

根据官方文档说明，HCCL_OP_EXPANSION_MODE=AIV表示将HCCL通信算子的编排与执行下放到Device端执行。该特性在A2机型上仅支持推理场景，在训练场景中使用可能导致算子调度异常，进而引发AIV算子超时。官方文档参考：HCCL_OP_EXPANSION_MODE环境变量说明

复位失败（80CB8001）成因

AIV算子超时后触发硬件复位流程，但复位失败，上报80CB8001告警。该问题在旧版本HDK中存在一定的概率性，新版本已优化复位机制，减少误报。若在新版本中仍出现，建议收集plog与device日志，交由AE团队进一步分析，同时需排除硬件故障可能性。

问题根因

1. AIV算子超时（80CB800A）：在训练场景下错误配置HCCL_OP_EXPANSION_MODE=AIV，导致HCCL通信算子在Device端执行，引发调度异常与超时。
2. AIV复位失败（80CB8001）：旧版本HDK中AIV复位机制存在偶发失败风险，新版本已优化，建议升级以降低告警频率。

解决措施

1. 修复AIV算子超时问题

推荐做法：删除HCCL_OP_EXPANSION_MODE环境变量配置，恢复默认行为（即HOST模式），确保算子在Host端调度，避免Device端执行风险。

# 临时修复（推荐）
export HCCL_OP_EXPANSION_MODE="HOST"

# 或直接不设置该变量，使用默认值

✅ 该配置变更后，训练任务恢复正常，故障消除。

2. 优化80CB8001复位失败告警

（1）短期恢复方案：带内重启（reboot）

在告警发生后，可通过带内命令重启NPU服务或节点，快速恢复系统状态，保障训练任务继续执行。

（2）长期优化方案：升级HDK版本

   A3机型：建议升级至 HDK 24.1.rc3.10 或 25.2.1 及以上版本，已修复该类复位失败问题。

   A2机型：25.2.1及以上版本已解决该问题。当前最新24版本（Ascend HDK 24.1.RC3.10）暂未合入修复，后续版本将包含该优化。

总结建议

训练场景下，避免手动设置HCCL_OP_EXPANSION_MODE=AIV，应保持默认HOST模式，以确保算子调度稳定性。

定期升级HDK版本，获取最新的稳定性与兼容性优化，降低运行时异常风险。

异常发生后，优先检查环境变量配置与日志上下文，快速定位配置类问题，提升问题排查效率。

通过规范配置与版本管理，可有效规避此类因配置不当引发的算子超时与复位失败问题，保障大规模训练任务的稳定运行。