背景概述在 Atlas A2 PoD 集群的维护场景中，运维人员可能会遇到 NPU 设备上报特定告警码（如 80818C05、80818C06）的情况。此类告警通常伴随计算结果异常，但常规的系统日志中可能未显示明显的硬件错误堆栈。若不及时识别和处理，可能导致训练任务出现静默错误（Silent Error），即计算过程中发生比特翻转，导致模型收敛异常或结果不可信，而业务层并未立即报错。本文旨在提供一套标准化的排查流程，帮助开发者快速定位此类隐蔽性硬件故障，并给出相应的解决措施。问题现象监测到 NPU 设备出现如下告警信息：该告警提示 NPU 状态异常，但业务侧可能表现为训练精度下降或偶发的计算结果偏差，而非直接的进程崩溃。原因分析针对上述告警，需结合多维度日志进行综合研判，具体排查步骤如下： 1. 检查应用层 Dump 日志首先检查应用侧的异常转储日志，路径通常为 dump_info/AppDump/event/eo_sel.csv。 ●观察结果：在该日志中未发现有异常的打印记录。 ●分析：这表明故障可能未触发应用层的异常捕获机制，或者故障发生在底层硬件执行阶段，应用层未能感知到具体的算子错误。 2. 检索带内设备日志在服务器带内日志中搜索关键告警码 80818C06。 ●观察结果：在 /log/slog/run/event.log 文件中可以检索到相关的错误打印。 ●分析：带内日志提供了更底层的硬件状态反馈，确认了设备层面确实存在异常事件。 3. 解读告警码含义查阅告警码定义文档，确认 80818C05 和 80818C06 的具体含义。 ●含义：这些告警码通常关联于 NPU 内部的精度敏感特征或硬件健康状态异常。 4. 根因定位综合以上日志分析，该问题的根本原因为 NPU 静默故障。 ●故障特征：NPU 在硬件层面存在潜在缺陷，导致在执行计算任务时发生比特翻转（Bit Flip）。 ●影响：这种故障具有隐蔽性，计算过程看似正常完成，但输出结果包含错误数据，严重影响模型训练的准确性和可靠性。解决措施为了确认故障并恢复集群健康状态，建议按照以下步骤进行处理： 1.执行 AICORE 压测：使用 ascend-dmi 工具对疑似故障的 NPU 模组进行 AICORE 压测。建议至少执行 3 轮压测，以确保测试结果的稳定性，排除偶发性干扰。 2.收集压测日志：在压测过程中及结束后，完整收集相关的压测日志文件，以便后续进行深度分析或作为备件更换的依据。 3.更换故障模组：若压测结果确认存在异常，或结合带内日志明确指向硬件故障，请直接更换对应的 NPU 模组。更换后，建议重新运行基准测试以验证设备状态恢复正常。建议与总结 ●日志关联分析：当遇到业务计算结果异常但无明确报错时，应结合带内设备日志（如 event.log）和应用层 Dump 日志进行交叉验证，重点关注精度敏感类告警码。