昇腾社区首页
中文
注册

查看trace日志

简介

对性能要求比较高,且需要频繁记录维测信息的场景下(例如在训练过程中需要记录每次迭代的关键参数信息),提供trace机制,支持在程序运行过程中,先将软件栈的trace信息记录在内存中,当程序运行出错时落盘到文件。当前仅Ascend EP标准形态支持该功能。

日志说明

默认trace日志落盘在$HOME/ascend/atrace/,也可以通过环境变量ASCEND_WORK_PATH指定trace日志落盘路径,具体请参考环境变量参考

表1 trace日志说明

存储路径

说明

$HOME/ascend/atrace/trace_{进程组pid}_{第一次加载的进程pid}_{time}/{tracer_name}_event_{当前进程pid}_{time}/stackcore_tracer_{signal}_{callback_cnt}_{program_name}_{time}.txt

当Host业务进程崩溃时记录的轻量级core文件,包括栈帧地址和基地址。

$HOME/ascend/atrace/trace_{进程组pid}_{第一次加载的进程pid}_{time}/{tracer_name}_event_{当前进程pid}_{time}/schedule_tracer_{object_name}.txt

Runtime、HCCL等模块在运行过程中上报的轨迹信息,记录进程运行过程。

以上目录是容器或物理机内所有应用程序共同使用的,会不断增加新的应用进程,日志会不断增多,因此需要用户定期清理该目录(可以使用系统自带的logrotate实现日志切分),否则可能导致磁盘空间不足,影响业务正常运行。