昇腾社区首页
中文
注册

msprof数据解析与导出

非RC场景下,msprof数据采集会自动解析采集到的Profiling数据,并默认导出最小模型号(Model ID)的第一轮迭代数据。

若需要自定义导出数据,可以在数据采集完成之后,使用msprof提供的解析功能解析并导出其他模型号和迭代的数据。

msprof解析功能命令示例如下:

# 登录运行环境并进入“msprof”文件所在目录执行以下命令。
./msprof --export=on --output=<dir> [--iteration-id=<number>] [--model-id=<number>] [--summary-format=<csv/json>]
表1 参数说明

参数

说明

可选/必选

--parse

单独使用命令行工具进行解析。取值为:

  • on:开启解析功能。
  • off:关闭解析功能。

msprof命令行工具指定application参数后可以进行Profiling的采集解析并导出数据,当在RC场景下无法进行解析或解析失败时,可以在命令执行完成后使用./msprof --parse on命令对采集的数据重新进行解析,RC场景需先将数据拷贝到开发环境进行解析。

可选

--export

导出Profiling timeline和summary数据。可选on或off,默认值为off。

默认导出迭代1、可导出的最小模型号(Model ID)的timeline和summary数据。

若需导出其他迭代/模型的数据,可在msprof命令执行完成后重新执行命令配置本参数和–model-id、–iteration-id参数。

对于未解析的PROF_XXX文件,自动解析后再导出。

示例:./msprof --export=on --output=/home/HwHiAiUser –model-id=2 –iteration-id=2

必选

--output

收集到的Profiling数据目录。须指定为PROFXXX目录(仅生成汇总Timeline目录数据)或PROFXXX目录下的host或device目录(生成具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROFXXX/home/HwHiAiUser/profiler_data/PROFXXX/device1

必选

--iteration-id

某轮迭代的ID号,默认值为1。

可选

--model-id

模型ID。默认为可导出的最小模型号。

可选

--summary-format

summary数据文件的导出格式,支持csv和json两种格式,默认值为csv。

可选

执行完上述命令后,会在--output目录下生成PROFXXX目录,PROFXXX目录保存Device侧或Host侧的原始Profiling数据以及timeline汇总数据。

生成的Profiling数据目录结构如图1所示。

图1 Profiling数据目录结构

执行解析后可以使用msprof工具提供的查询功能查询Profiling数据文件的基本信息。

msprof查询功能命令示例如下:

# 登录运行环境并进入“msprof”文件所在目录执行以下命令。
./msprof --query=on --output=<dir>
表2 参数说明

参数

说明

可选/必选

--query

查询Profiling数据文件信息。可选on或off,默认值为off。

当完成Profiling解析后,可以通过本参数查询Profiling数据文件信息,需使用--output参数指定查询的目标路径。

Ascend RC场景不支持本参数。

必选

--output

收集到的Profiling数据目录。须指定为PROFXXX目录(仅查询汇总Timeline目录数据)或PROFXXX目录下的host或device目录(查询具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROFXXX/home/HwHiAiUser/profiler_data/PROFXXX/device1

必选

msprof工具的查询功能获取到的信息如表3所示。

表3 Profiling数据文件信息

字段

含义

Job Info

任务名(已废弃)

Device ID

设备号

Dir Name

文件夹名称

Collection Time

数据采集时间

Model ID

模型号

Iteration Number

总迭代数

Top Time Iteration

耗时最长的5个迭代号