导出System Profiling的summary数据
在导出summary数据前,需要参见解析Profiling数据(msprof.py工具方式)解析profiling数据。参见如下步骤导出summary数据。
- 以Ascend-cann-toolkit开发套件包的运行用户登录开发环境。以HwHiAiUser用户为例。
- 切换至“msprof.py”脚本所在目录,如/home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/profiler/profiler_tool/analysis/msprof。
- 执行如下命令,导出summary数据。
命令行格式如下,参数说明参见表1。
python3 msprof.py export summary [-h] -dir <dir> [--iteration-id <iteration_id>] [--model-id <model-id>] [--format <export_format>]
例如导出系统的profiling的summary数据命令如下:
python3 msprof.py export summary -dir /home/HwHiAiUser/profiler_data --format csv
表1 导出summary数据命令参数说明 参数名
描述
可选/必选
-h,--help
显示帮助信息,仅在获取使用方式时使用。
可选
-dir,--collection-dir
收集到的Profiling数据目录。须指定为PROFXXX目录(仅生成汇总Timeline目录数据)或PROFXXX目录下的host或device目录(生成具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROF_XXX或/home/HwHiAiUser/profiler_data/PROF_XXX/device1。
必选
--iteration-id
某轮迭代的ID号,默认值为1。
可选
--model-id
模型ID。
说明:该参数在System Profiling场景下无效。
可选
--format
summary数据文件的导出格式,支持csv和json两种格式,默认值为csv。
说明:下文中summary文件介绍均以csv文件为例。
可选
- 执行完上述命令后,会在collection-dir目录下的PROFXXX目录的device或host目录下生成summary目录,不同的数据生成对应的json文件。
生成的Profiling数据目录结构如图1所示。
图1 Profiling数据目录结构- System Profiling场景下的文件名称格式为{name}_{device_id}_{iter_id}.csv。
- summary目录中的文件是根据采集的实际profiling数据进行生成,如果实际的profiling数据没有相关的数据文件,就不会导出对应的summary的数据。
- 使用export命令能直接从已解析的Profiling数据中导出数据文件。当Profiling数据未解析时,单独执行export命令也能进行解析Profiling数据并导出数据文件。
- 生成的summary数据文件使用excel打开时,会出现字段值为科学计数的情况,例如“1.00159E+12”。此时可选中该单元格,然后 ,在弹出的对话框中“数字”标签下选择“数值”,单击“确定”就能正常显示。
- 导出的数据中涉及到的时间节点(非Timestamp)为系统单调时间只与系统有关,非真实时间。