前提条件

请确保AI工程能在运行环境中正常运行。
请确保完成使用前准备。

命令示例

以运行用户登录Ascend-cann-toolkit开发套件包所在环境，执行以下命令采集性能数据。命令示例如下：

msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on

采集AI任务运行性能数据--application必选。

参数说明

表1 参数说明
参数	描述	芯片支持情况
--ascendcl	控制AscendCL性能数据采集的开关，可选on或off，默认为on。可采集AscendCL性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--model-execution	控制ge model execution性能数据采集开关，可选on或off，默认为on。该参数采集能力集成到--task-time中，若须单独采集可关闭--task-time开关。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--runtime-api	控制runtime api性能数据采集开关，可选on或off，默认为off。可采集runtime-api性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--hccl	控制HCCL数据采集开关，可选on或off，默认为off。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--task-time	控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值： l0：采集算子下发耗时、算子执行耗时数据。 l1：采集算子下发耗时、算子执行耗时数据以及算子基本信息数据，提供更全面的性能分析数据。 on：开启，默认值，和配置为l1的效果一样。 off：关闭。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--aicpu	采集AICPU算子的详细信息，如：数据拷贝时间等。可选on或off，默认值为off。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--ai-core	控制AI Core和AI Vector Core数据采集的开关，可选on或off，默认值为on。	Atlas 200/300/500 推理产品：支持AI Core采集开关 Atlas 200/500 A2推理产品：支持AI Core和AI Vector Core采集开关 Atlas 推理系列产品：支持AI Core采集开关 Atlas 训练系列产品：支持AI Core采集开关 Atlas A2训练系列产品：支持AI Core和AI Vector Core采集开关
--aic-mode	AI Core和AI Vector Core硬件的采集类型，可选值task-based或sample-based。 task-based是以task为粒度进行性能数据采集，sample-based是以固定的时间周期进行性能数据采集。配置为采集AI任务运行性能数据时自动识别为task-based；配置为采集昇腾AI处理器系统数据时自动识别为sample-based。该参数配置前提是ai-core参数设置为on。	Atlas 200/300/500 推理产品：支持AI Core硬件采集类型 Atlas 200/500 A2推理产品：支持AI Core和AI Vector Core硬件采集类型 Atlas 推理系列产品：支持AI Core硬件采集类型 Atlas 训练系列产品：支持AI Core硬件采集类型 Atlas A2训练系列产品：支持AI Core和AI Vector Core硬件采集类型
--aic-freq	sample-based场景下的采样频率，默认值100，范围1~100，单位hz。该参数配置前提是ai-core参数设置为on。	Atlas 200/300/500 推理产品：支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持
--aic-metrics	AI Core和AI Vector Core性能指标采集项。取值包括： Atlas 200/300/500 推理产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio，详细请参考AI Core/AI Vector Core性能指标采集项说明 Atlas 200/500 A2推理产品：ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache、PipelineExecuteUtilization（默认值），详细请参考AI Core/AI Vector Core性能指标采集项说明 Atlas 推理系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio，详细请参考AI Core/AI Vector Core性能指标采集项说明 Atlas 训练系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio，详细请参考AI Core/AI Vector Core性能指标采集项说明 Atlas A2训练系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache，详细请参考AI Core/AI Vector Core性能指标采集项说明（Atlas A2训练系列产品）该参数配置前提是ai-core参数设置为on。说明：支持自定义需要采集的寄存器，例如：--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。 Custom字段表示自定义类型，配置为具体的寄存器值，取值范围为[0x1, 0x6E]。配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。寄存器的值支持十六进制或十进制。	Atlas 200/300/500 推理产品：支持AI Core采集项 Atlas 200/500 A2推理产品：支持AI Core和AI Vector Core采集项 Atlas 推理系列产品：支持AI Core采集项 Atlas 训练系列产品：支持AI Core采集项 Atlas A2训练系列产品：支持AI Core和AI Vector Core采集项
--sys-hardware-mem	任务级别的片上内存采集开关，可选on或off，默认为off。	不同产品支持情况不同，请以实际实现为准。
--sys-hardware-mem-freq	任务级别的片上内存信息采集频率，范围[1,100]，默认值为50，单位hz。设置该参数需要sys-hardware-mem参数设置为on。	和--sys-hardware-mem参数支持情况保持一致
--l2	控制L2 Cache采样数据的开关，可选on或off，默认为off。 Atlas 200/500 A2推理产品Atlas A2训练系列产品分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。	Atlas 200/300/500 推理产品：不支持 Atlas 200/500 A2推理产品：支持 Atlas 推理系列产品：支持 Atlas 训练系列产品：支持 Atlas A2训练系列产品：支持

采集数据说明

配置采集AI任务运行时性能数据参数后，生成的性能数据如表2和表3所示。

表2 采集内容（timeline）
timeline文件名	相关参数	说明
msprof_*.json	-	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
task_time_*.json	--task-time	Task Scheduler任务调度信息。详情请参见Task Scheduler任务调度信息数据。
step_trace_*.json	--task-time	迭代轨迹数据，每轮迭代的耗时。详情请参见迭代轨迹数据。单算子场景（如PyTorch场景）下无此性能数据文件。
hccl_*.json	--task-time --hccl 以上参数二选一	HCCL集合通信算子数据。详情请参见HCCL集合通信算子数据。
npu_mem_*.json	--sys-hardware-mem	NPU内存占用信息。详情请参见NPU内存占用数据。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。

表3 采集内容（summary）
summary文件名	相关参数	说明
api_statistic_*.csv	--ascendcl --runtime-api --hccl --task-time	用于统计CANN层的API执行耗时信息。详情请参见API信息统计数据。
op_summary_*.csv	--task-time --aic-metrics（可选）	AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	--task-time	AI Core和AI CPU算子调用次数及耗时，从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。 --task-time设置为l0时，不解析该文件。
step_trace_*.csv	--task-time	迭代轨迹数据。详情请参见迭代轨迹数据。单算子场景（如PyTorch场景）下无此性能数据文件。
fusion_op_*.csv	--model-execution --task-time 以上参数二选一	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。单算子场景（如PyTorch场景）下无此性能数据文件。
task_time_*.csv	--task-time	Task Scheduler的任务调度信息数据。详情请参见： Atlas 200/300/500 推理产品：Task Scheduler的任务调度信息数据 Atlas 200/500 A2推理产品：Task Scheduler的任务调度信息数据 Atlas 推理系列产品：Task Scheduler的任务调度信息数据 Atlas 训练系列产品：Task Scheduler的任务调度信息数据 Atlas A2训练系列产品：Task Scheduler的任务调度信息数据
aicpu_*.csv	--aicpu	AI CPU数据。详情请参见AI CPU数据。
npu_mem_*.csv	--sys-hardware-mem	NPU内存占用信息。详情请参见NPU内存占用数据。
l2_cache_*.csv	--l2	L2 Cache据。详情请参见L2 Cache数据。
hccl_statistic_*.csv	--task-time --hccl 以上参数二选一	HCCL集合通信算子统计信息。详情请参见HCCL集合通信算子统计信息。
prof_rule_0.json	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。