数据解析与导出

非RC场景下,msprof性能数据采集会自动解析采集到的Profiling数据,并默认导出迭代数最多的模型ID(Model ID)对应的性能数据。

若需要自定义导出数据,可以在数据采集完成之后,使用msprof提供的解析功能解析并导出指定模型号和迭代的数据。

执行解析前可以使用msprof工具提供的查询功能查询Profiling数据文件的基本信息。

查询Profiling数据文件信息

登录Ascend-cann-toolkit开发套件包所在环境,根据环境搭建配置环境变量后执行命令,命令示例如下:

msprof --query=on --output=<dir>
表1 参数说明

参数

说明

可选/必选

--query

查询Profiling数据文件信息。可选on或off,默认值为off。

当完成Profiling解析后,可以通过本参数查询Profiling数据文件信息,需使用--output参数指定查询的目标路径。

Ascend RC场景不支持本参数。

必选

--output

收集到的Profiling数据目录。须指定为PROF_XXX目录或PROF_XXX目录下的host或device目录(查询具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROF_XXX/home/HwHiAiUser/profiler_data/PROF_XXX/device_*

必选

msprof工具的查询功能获取到的信息如表2所示。

表2 Profiling数据文件信息

字段

含义

Job Info

任务名。

Device ID

设备ID。

Dir Name

文件夹名称。

Collection Time

数据采集时间。

Model ID

模型ID。

Iteration Number

总迭代数。

Top Time Iteration

耗时最长的5个迭代。

Rank ID

集群场景的节点识别ID。仅解析集群场景的数据文件时展示,非集群场景显示N/A。

数据解析与导出

登录Ascend-cann-toolkit开发套件包所在环境,根据环境搭建配置环境变量后执行命令,命令示例如下:

msprof --export=on --output=<dir> [--iteration-id=<number>] [--model-id=<number>] [--summary-format=<csv/json>]
表3 参数说明

参数

说明

可选/必选

--parse

单独使用命令行工具进行解析。取值为:

  • on:开启解析功能。
  • off:关闭解析功能。

msprof命令行工具指定application参数后可以进行Profiling的采集解析并导出数据,当在RC场景下无法进行解析或解析失败时,可以在命令执行完成后使用msprof --parse=on命令对采集的数据重新进行解析,RC场景需先将数据拷贝到开发环境进行解析。

可选

--export

导出Profiling timeline和summary数据。可选on或off,默认值为off。

默认导出迭代数最多的模型ID(Model ID)的timeline和summary数据。

若需导出其他迭代/模型的数据,可在msprof命令执行完成后重新执行命令配置本参数和--model-id、--iteration-id参数,示例:msprof --export=on --output=/home/HwHiAiUser –model-id=2 –iteration-id=2。

对于未解析的PROF_XXX文件,自动解析后再导出。

必选

--output

收集到的Profiling数据目录。须指定为PROF_XXX目录或PROF_XXX目录下的host或device目录(查询具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROF_XXX/home/HwHiAiUser/profiler_data/PROF_XXX/device_*

必选

--iteration-id

某轮迭代的ID,默认值为1。

可选

--model-id

模型ID。默认为迭代数最多的模型ID(Model ID)。

可选

--summary-format

summary数据文件的导出格式,支持csv和json两种格式,默认值为csv。

可选