trace机制是指在程序运行过程中将软件栈的维测信息记录在内存中,当程序运行出错或进程结束时落盘到文件,以免在程序运行过程中频繁产生和记录日志文件,影响性能。当前仅Ascend EP标准形态支持该功能。
trace日志落盘根目录默认为“$HOME/ascend/atrace/”,也可以通过环境变量ASCEND_WORK_PATH指定trace日志落盘路径,例如设置export ASCEND_WORK_PATH=/home/test,具体请参考。
trace日志具体落盘路径为:“[object Object]”,其中event_name为事件类型,取值为:schedule(业务流程异常,如算子执行报错等)、stackcore(进程崩溃或收到异常信号)、exit(进程正常退出析构)。
表1 trace日志文件说明
- 通过环境变量ASCEND_LOG_DEVICE_FLUSH_TIMEOUT配置Device侧日志回传到Host侧的延时时间,具体请参考。
- 通过环境变量ASCEND_TRACE_RECORD_NUM可控制“
[object Object]”目录下“[object Object]”子目录的老化规格,具体请参考。
以上目录是容器或物理机内所有应用程序共同使用的,会不断增加新的应用进程,日志会不断增多,因此需要用户定期清理该目录(可以使用系统自带的logrotate实现日志切分),否则可能导致磁盘空间不足,影响业务正常运行。