查看trace日志
简介
对性能要求比较高,且需要频繁记录维测信息的场景下(例如在训练过程中需要记录每次迭代的关键参数信息),提供trace机制,支持在程序运行过程中,先将软件栈的trace信息记录在内存中,当程序运行出错时落盘到文件。当前仅Ascend EP标准形态支持该功能。
日志说明
默认trace日志落盘在$HOME/ascend/atrace/,也可以通过环境变量ASCEND_WORK_PATH指定trace日志落盘路径,具体请参考《环境变量参考》。
存储路径 |
说明 |
---|---|
$HOME/ascend/atrace/trace_{进程组pid}_{第一次加载的进程pid}_{time}/{tracer_name}_event_{当前进程pid}_{time}/stackcore_tracer_{signal}_{callback_cnt}_{program_name}_{time}.txt |
当Host业务进程崩溃时记录的轻量级core文件,包括栈帧地址和基地址。 |
$HOME/ascend/atrace/trace_{进程组pid}_{第一次加载的进程pid}_{time}/{tracer_name}_event_{当前进程pid}_{time}/schedule_tracer_{object_name}.txt |
Runtime、HCCL等模块在运行过程中上报的轨迹信息,记录进程运行过程。 |

以上目录是容器或物理机内所有应用程序共同使用的,会不断增加新的应用进程,日志会不断增多,因此需要用户定期清理该目录(可以使用系统自带的logrotate实现日志切分),否则可能导致磁盘空间不足,影响业务正常运行。
父主题: 其他操作