问题背景:
共50pcs 单P 200I PRO EP形态推理卡进行老化测试(长时间运行Ascend-dmi功耗测试),其中有10pcs在运行几小时后出现报错,查询健康状态,打印报错码为0x2,,可以执行npu-smi info,host为麒麟V10的系统,S5000C的CPU

查询npu-smi健康状态,存在ECC报错

定位思路:
存在ECC报错,确认大概率为DDR问题,在HOST侧通过msnpureport -f收集日志 里面有报错信息能看到是哪个通道。
路径为messeage/dec-os-0
日志内搜索bank,可以找到如下报错信息。

错误通道chn=0xC(16进制)-2(10进制)=10;这个报错通道就是DDR10
解决方法:
此问题为DDR物料问题,更换对应通道的DDR即可。
优化措施
1、DDR颗粒问题,厂家加强筛选。
2、产线增加DDR压测测试,exmbis,memtest,DDR电源拉偏, metmal压测拦截。
问题背景:
共50pcs 单P 200I PRO EP形态推理卡进行老化测试(长时间运行Ascend-dmi功耗测试),其中有10pcs在运行几小时后出现报错,查询健康状态,打印报错码为0x2,,可以执行npu-smi info,host为麒麟V10的系统,S5000C的CPU
查询npu-smi健康状态,存在ECC报错
定位思路:
存在ECC报错,确认大概率为DDR问题,在HOST侧通过msnpureport -f收集日志 里面有报错信息能看到是哪个通道。
路径为messeage/dec-os-0
日志内搜索bank,可以找到如下报错信息。
错误通道chn=0xC(16进制)-2(10进制)=10;这个报错通道就是DDR10
解决方法:
此问题为DDR物料问题,更换对应通道的DDR即可。
优化措施
1、DDR颗粒问题,厂家加强筛选。
2、产线增加DDR压测测试,exmbis,memtest,DDR电源拉偏, metmal压测拦截。