以运行用户登录Ascend-cann-toolkit开发套件包所在环境,根据环境搭建配置环境变量后执行命令,命令示例如下:
msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on
采集AI任务运行性能数据--application必选。
参数 |
描述 |
可选/必选 |
---|---|---|
--ascendcl |
控制acl性能数据采集的开关,可选on或off,默认为on。 可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
可选 |
--model-execution |
控制ge model execution性能数据采集开关,可选on或off,默认为on。 该参数采集能力集成到--task-time中,若须单独采集可关闭--task-time开关。 |
可选 |
--runtime-api |
控制runtime api性能数据采集开关,可选on或off,默认为off。可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。 |
可选 |
--hccl |
控制HCCL数据采集开关,可选on或off,默认为off。 |
可选 |
--task-time |
控制任务调度耗时以及算子耗时的开关。涉及在ai_stack_time、task_time、op_summary、op_statistic等文件中输出相关耗时数据。 可选on或off,默认为on。 |
可选 |
--aicpu |
采集AICPU算子的详细信息,如:数据拷贝时间等。可选on或off,默认值为off。 |
可选 |
--ai-core |
控制AI Core和AI Vector Core数据采集的开关,可选on或off,默认值为on。仅Atlas A2训练系列产品支持AI Vector Core。 |
可选 |
--aic-mode |
AI Core和AI Vector Core硬件的采集类型,可选值task-based或sample-based。仅Atlas A2训练系列产品支持AI Vector Core,但Atlas A2训练系列产品不支持sample-based。 task-based是以task为粒度进行性能数据采集,sample-based是以固定的时间周期进行性能数据采集。 配置为采集AI任务运行性能数据时自动识别为task-based;配置为采集昇腾AI处理器系统数据时自动识别为sample-based。 该参数配置前提是ai-core参数设置为on。 |
可选 |
--aic-freq |
sample-based场景下的采样频率,默认值100,范围1~100,单位hz。 该参数配置前提是ai-core参数设置为on。 |
可选 |
--aic-metrics |
AI Core和AI Vector Core性能指标采集项,默认为PipeUtilization,包括ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache。 仅Atlas A2训练系列产品支持AI Vector Core数据及L2Cache开关。 以上各参数值对应的详细采集指标请参见AI Core性能指标采集项说明和AI Core/AI Vector Core性能指标采集项说明(Atlas A2训练系列产品),主要在AI Core和AI CPU算子数据中呈现。 该参数配置前提是ai-core参数设置为on。 说明:
支持自定义需要采集的寄存器,例如:--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。
|
可选 |
--l2 |
控制L2采样数据的开关,可选on或off,默认为off。 仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持该参数。 |
可选 |
配置采集AI任务运行时性能数据参数后生成的性能数据如表2和表3所示。
timeline文件名 |
相关参数 |
说明 |
---|---|---|
msprof*.json |
所有可生成数据的参数均会在此文件写入数据。 |
timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。 |
ai_stack_time_*.json |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
各个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见AscendCL、GE、Runtime、Task Scheduler组件耗时数据概览。 |
thread_group_*.json |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
AscendCL,GE,Runtime组件耗时数据。该文件内的各组件数据按照线程(Thread)粒度进行排列,方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据(按线程粒度展示)。 |
task_time_*.json |
--task-time |
Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。 |
acl_*.json |
--ascendcl |
AscendCL接口耗时数据。文件详情请参见AscendCL接口耗时数据。 |
runtime_api_*.json |
--runtime-api |
Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。 |
ge_*.json |
--task-time --model-execution 以上参数必选其一。 |
GE接口耗时数据。文件详情请参见GE接口耗时数据。 |
ge_op_execute_*.json |
--task-time --model-execution 以上参数必选其一。 |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
step_trace_*.json |
--task-time |
迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据。 |
hccl_*.json |
--hccl |
HCCL数据。文件详情请参见HCCL数据。 |
npu_mem_*.json |
--sys-hardware-mem |
NPU内存占用信息。文件详情请参见NPU内存占用数据。 |
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。 |
summary文件名 |
相关参数 |
说明 |
---|---|---|
acl_*.csv |
--ascendcl |
AscendCL接口的耗时。详情请参见AscendCL接口耗时数据。 |
acl_statistic_*.csv |
--ascendcl |
AscendCL接口调用次数及耗时。详情请参见AscendCL接口调用次数及耗时数据。 |
op_summary_*.csv |
--task-time --aic-metrics |
AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。 |
op_statistic_*.csv |
--task-time |
AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。 |
step_trace_*.csv |
--task-time |
迭代轨迹数据。文件详情请参见迭代轨迹数据。 |
ai_stack_time_*.csv |
--ascendcl --model-execution --runtime-api --task-time 以上参数必选其一。 |
每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据。 |
runtime_api_*.csv |
--runtime-api |
每个runtime api的调用时长。详情请参见Runtime接口耗时数据。 |
fusion_op_*.csv |
--model-execution --task-time 以上参数必选其一。 |
模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。 |
ge_op_execute_*.csv |
--model-execution --task-time 以上参数必选其一。 |
算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。 |
task_time_*.csv |
--task-time |
Task Scheduler的任务调度信息数据。详情请参见:
|
aicpu_*.csv |
--aicpu |
AI CPU数据。文件详情请参见AI CPU数据。 |
npu_mem_*.csv |
--sys-hardware-mem |
NPU内存占用信息。文件详情请参见NPU内存占用数据。 |
l2_cache_*.csv |
--l2 |
L2Cache数据。详情请参见L2Cache数据。仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。 |
prof_rule_0.json |
- |
调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议。 |
注:“*”表示{device_id}_{model_id}_{iter_id},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。 |