采集AI任务运行性能数据

命令示例

以运行用户登录Ascend-cann-toolkit开发套件包所在环境,根据环境搭建配置环境变量后执行命令,命令示例如下:

msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on

采集AI任务运行性能数据--application必选。

参数说明

表1 参数说明

参数

描述

可选/必选

--ascendcl

控制acl性能数据采集的开关,可选on或off,默认为on。

可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

可选

--model-execution

控制ge model execution性能数据采集开关,可选on或off,默认为on。

该参数采集能力集成到--task-time中,若须单独采集可关闭--task-time开关。

可选

--runtime-api

控制runtime api性能数据采集开关,可选on或off,默认为off。可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

可选

--hccl

控制HCCL数据采集开关,可选on或off,默认为off。

可选

--task-time

控制任务调度耗时以及算子耗时的开关。涉及在ai_stack_time、task_time、op_summary、op_statistic等文件中输出相关耗时数据。

可选on或off,默认为on。

可选

--aicpu

采集AICPU算子的详细信息,如:数据拷贝时间等。可选on或off,默认值为off。

可选

--ai-core

控制AI Core和AI Vector Core数据采集的开关,可选on或off,默认值为on。仅Atlas A2训练系列产品支持AI Vector Core。

可选

--aic-mode

AI Core和AI Vector Core硬件的采集类型,可选值task-based或sample-based。仅Atlas A2训练系列产品支持AI Vector Core,但Atlas A2训练系列产品不支持sample-based。

task-based是以task为粒度进行性能数据采集,sample-based是以固定的时间周期进行性能数据采集。

配置为采集AI任务运行性能数据时自动识别为task-based;配置为采集昇腾AI处理器系统数据时自动识别为sample-based。

该参数配置前提是ai-core参数设置为on。

可选

--aic-freq

sample-based场景下的采样频率,默认值100,范围1~100,单位hz。

该参数配置前提是ai-core参数设置为on。

可选

--aic-metrics

AI Core和AI Vector Core性能指标采集项,默认为PipeUtilization,包括ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache。

Atlas A2训练系列产品支持AI Vector Core数据及L2Cache开关。

以上各参数值对应的详细采集指标请参见AI Core性能指标采集项说明AI Core/AI Vector Core性能指标采集项说明(Atlas A2训练系列产品),主要在AI Core和AI CPU算子数据中呈现。

该参数配置前提是ai-core参数设置为on。

说明:
支持自定义需要采集的寄存器,例如:--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。
  • Custom字段表示自定义类型,配置为具体的寄存器值,取值范围为[0x1, 0x6E]。
  • 配置的寄存器数最多不能超过8个,寄存器通过“,”区分开。
  • 寄存器的值支持十六进制或十进制。

可选

--l2

控制L2采样数据的开关,可选on或off,默认为off。

Atlas 推理系列产品Atlas 训练系列产品Atlas A2训练系列产品支持该参数。

可选

采集数据说明

配置采集AI任务运行时性能数据参数后生成的性能数据如表2表3所示。

表2 采集内容(timeline)

timeline文件名

相关参数

说明

msprof*.json

所有可生成数据的参数均会在此文件写入数据。

timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表

ai_stack_time_*.json

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

各个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见AscendCL、GE、Runtime、Task Scheduler组件耗时数据概览

thread_group_*.json

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

AscendCL,GE,Runtime组件耗时数据。该文件内的各组件数据按照线程(Thread)粒度进行排列,方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据(按线程粒度展示)

task_time_*.json

--task-time

Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据

acl_*.json

--ascendcl

AscendCL接口耗时数据。文件详情请参见AscendCL接口耗时数据

runtime_api_*.json

--runtime-api

Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据

ge_*.json

--task-time

--model-execution

以上参数必选其一。

GE接口耗时数据。文件详情请参见GE接口耗时数据

ge_op_execute_*.json

--task-time

--model-execution

以上参数必选其一。

算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据

step_trace_*.json

--task-time

迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据

hccl_*.json

--hccl

HCCL数据。文件详情请参见HCCL数据

npu_mem_*.json

--sys-hardware-mem

NPU内存占用信息。文件详情请参见NPU内存占用数据

注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。

表3 采集内容(summary)

summary文件名

相关参数

说明

acl_*.csv

--ascendcl

AscendCL接口的耗时。详情请参见AscendCL接口耗时数据

acl_statistic_*.csv

--ascendcl

AscendCL接口调用次数及耗时。详情请参见AscendCL接口调用次数及耗时数据

op_summary_*.csv

--task-time

--aic-metrics

AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据

op_statistic_*.csv

--task-time

AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据

step_trace_*.csv

--task-time

迭代轨迹数据。文件详情请参见迭代轨迹数据

ai_stack_time_*.csv

--ascendcl

--model-execution

--runtime-api

--task-time

以上参数必选其一。

每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据

runtime_api_*.csv

--runtime-api

每个runtime api的调用时长。详情请参见Runtime接口耗时数据

fusion_op_*.csv

--model-execution

--task-time

以上参数必选其一。

模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据

ge_op_execute_*.csv

--model-execution

--task-time

以上参数必选其一。

算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据

task_time_*.csv

--task-time

Task Scheduler的任务调度信息数据。详情请参见:

aicpu_*.csv

--aicpu

AI CPU数据。文件详情请参见AI CPU数据

npu_mem_*.csv

--sys-hardware-mem

NPU内存占用信息。文件详情请参见NPU内存占用数据

l2_cache_*.csv

--l2

L2Cache数据。详情请参见L2Cache数据。仅Atlas 推理系列产品Atlas 训练系列产品Atlas A2训练系列产品支持。

prof_rule_0.json

-

调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议

注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。