昇腾故障案例详情页

Profiling数据老化导致无法正常解析数据

更新时间: 2023/05/08

暂无评分

问题信息

问题来源产品大类产品子类关键字
官方模型训练TensorFlowProfiling、数据老化

问题现象描述

当Profiling数据超过storage_limit参数限定的最大值或剩余磁盘空间较小时,Profiling开始自动老化删除最早的Profiling数据。

原因分析

Profiling数据老化。默认情况下Profiling解析从--iteration-id=1开始,而老化同样从--iteration-id=1开始,故当第1轮迭代或前面几轮迭代的数据被老化后,未指定--iteration-id或指定前面几轮迭代进行解析时,解析将会失败。

解决措施

  1. 执行./msprof --query=on --output=<dir>命令查看最大迭代轮数(Iteration Number)。
  2. 解析迭代ID最大的Profiling数据。

本页内容

该页面对您有帮助吗?
我要评分