日志没有正常落盘
推理场景(Ascend EP)和训练场景
通过msnpureport工具导出Device侧系统日志失败
如果通过msnpureport工具导出Device侧系统日志失败,请参照如下步骤处理:
- 在Host侧执行msnpureport工具命令后,查看打印的提示信息定位问题。
若未能解决问题,请执行2。
- 在Host侧执行如下命令查看Host侧日志存放路径(运行msnpureport工具所在路径)所在的磁盘空间是否已满。
df -h
应用类日志没有正常落盘
如果应用类日志没有正常落盘(包括“$HOME/ascend/log/”目录下plog日志和device-id日志),请参照如下步骤处理:
- 执行如下命令查看Host侧“/var/log/messages”文件中是否有相关的错误日志。
cat /var/log/messages
若未能解决问题,请执行2。
- 在Host侧执行如下命令查看日志落盘路径(“$HOME/ascend/log/”)所在的磁盘空间是否已满。
df -h
若未能解决问题,请执行3。
- 在Host侧通过msnpureport工具导出Device侧系统日志,查看是否有相关的错误日志。
通过msnpureport工具导出Device侧系统日志的方法请参见msnpureport工具使用。
- 如果“$HOME/ascend/log/”目录下plog日志正常落盘,而device-id日志没有正常落盘,可以查看plog日志中的错误日志信息,帮忙定位进程问题。
推理场景(Ascend RC)
应用类日志没有正常落盘
如果应用类日志没有正常落盘,请参照如下步骤处理:
- 执行如下命令查看应用进程依赖的动态库是否正确。
ldd xxx
xxx为二进制应用进程。
- 执行如下命令查看日志落盘路径(“/var/log/npu/slog”)所在的磁盘空间是否已满。
df -h
- 执行如下命令查看slogd进程是否存在。
ps -elf | grep slogd
若返回slogd进程相关信息,说明slogd进程存在。若slogd进程不存在,可以执行如下步骤尝试手动拉起slogd进程。
- 执行如下命令切换到普通用户(如HwHiAiUser)。
su HwHiAiUser
- 执行如下命令手动拉起slogd进程。
nohup /var/slogd > /dev/null 2>&1 &
- 执行如下命令确认slogd进程是否被拉起。
ps -elf | grep slogd
- 执行如下命令切换到普通用户(如HwHiAiUser)。
- 若以上均无问题,但应用类日志仍没有正常落盘,可以尝试重启slogd进程,具体请参见重启日志进程。
系统类日志没有正常落盘
如果系统类日志没有正常落盘,请参照如下步骤处理:
- 执行如下命令查看相关日志进程(slogd、sklogd和log-daemon)是否存在。
ps -elf | grep log
若显示进程相关信息,说明相关日志进程已存在。若不存在,可以执行如下步骤尝试手动拉起相关日志进程:
- 执行如下命令切换到普通用户(如HwHiAiUser)。
su HwHiAiUser
- 执行如下命令手动拉起相关日志进程。
- 拉起slogd进程。
nohup /var/slogd > /dev/null 2>&1 &
- 拉起sklogd进程。
nohup /var/sklogd > /dev/null 2>&1 &
- 拉起log-daemon进程。
nohup /var/log-daemon > /dev/null 2>&1 &
- 拉起slogd进程。
- 执行如下命令确认相关日志进程是否被拉起。
ps -elf | grep log
- 执行如下命令切换到普通用户(如HwHiAiUser)。
- 执行如下命令查看日志落盘路径(“/var/log/npu/slog”)所在的磁盘空间是否已满。
df -h
- 若以上均无问题,但系统类日志仍没有正常落盘,可以尝试重启日志相关进程,具体请参见重启日志进程。
父主题: 常见问题