采集AI任务运行性能数据

msprof支持采集AI任务运行时相关的性能数据，并且在采集后可以自动进行性能数据解析和文件落盘。

前提条件

请确保AI工程能在运行环境中正常运行。
请确保完成使用前准备。

命令示例（Ascend EP）

登录Ascend-cann-toolkit开发套件包所在环境，执行以下命令采集性能数据。命令示例如下：

msprof --output=/home/projects/output --ascendcl=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on /home/projects/MyApp/out/main

命令支持的参数请参考表1，采集AI任务运行性能数据时必须传入用户程序。

命令执行完成后，在output指定的目录下生成PROF_XXX目录，存放自动解析后的性能数据，相关结果文件请参见表1。

命令示例（Ascend RC）

登录运行环境，进入msprof工具所在目录“/var”，执行以下命令采集性能数据。命令示例如下：

./msprof --output=/home/projects/output --ascendcl=on --runtime-api=on --task-time=on --ai-core=on /home/projects/MyApp/out/main

命令支持的参数请参考表1，采集AI任务运行性能数据时必须传入用户程序。

命令执行完成后，在output指定的目录下生成PROF_XXX目录，该目录下的文件未经解析无法查看，您需要将PROF_XXX目录上传到安装toolkit包的开发环境进行数据解析，具体操作方法请参见性能数据解析与导出（msprof命令），最终生成的结果文件请参见表1。

参数说明

表1 参数说明
参数	描述	支持的型号	结果文件
--ascendcl	控制AscendCL性能数据采集的开关，可选on或off，默认为on。可采集AscendCL性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	msprof_.json中的CANN_AscendCL层级和api_statistic_.csv文件
--model-execution	控制ge model execution性能数据采集开关，可选on或off，默认为on。说明：此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	fusion_op_*.csv
--runtime-api	控制runtime api性能数据采集开关，可选on或off，默认为off。可采集runtime-api性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	msprof_.json中的CANN_Runtime层级和api_statistic_.csv文件
--hccl	控制HCCL数据采集开关，可选on或off，默认为off。该数据只在多卡、多节点或集群场景下生成。说明：此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	msprof_.json中的HCCL层级和hccl_statistic_.csv文件 api_statistic_*.csv
--task-time	控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值： l0：采集算子下发耗时、算子执行耗时数据。与l1相比，由于不采集算子基本信息数据，采集时性能开销较小，可更精准统计相关耗时数据。 l1：采集算子下发耗时、算子执行耗时数据以及算子基本信息数据，提供更全面的性能分析数据。 on：开启，默认值，和配置为l1的效果一样。 off：关闭。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	msprof_.json中的CANN层级和api_statistic_.csv文件 msprof_.json中的Ascend Hardware层级和task_time_.csv文件 msprof_.json中的HCCL层级和hccl_statistic_.csv文件 step_trace（迭代轨迹数据） op_summary_.csv op_statistic_.csv fusion_op_*.csv
--aicpu	采集AICPU算子的详细信息，如：计算耗时、数据拷贝耗时等。可选on或off，默认值为off。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	aicpu_.csv dp_.csv
--ai-core	控制AI Core、AI Vector Core数据采集的开关，。取值可选on或off，--task-time配置为on、l1时，默认为on；--task-time配置为off、l0时，默认为off。 Atlas 200/300/500 推理产品：控制AI Core采集 Atlas 200I/500 A2推理产品：控制AI Core和AI Vector Core采集 Atlas 推理系列产品：控制AI Core采集 Atlas 训练系列产品：控制AI Core采集 Atlas A2训练系列产品/Atlas 800I A2推理产品：控制AI Core和AI Vector Core采集	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	op_summary_*.csv
--aic-mode	AI Core、AI Vector Core硬件的采集类型，可选值task-based或sample-based。该参数配置前提是ai-core参数设置为on。 task-based是以task为粒度进行性能数据采集，sample-based是以固定的时间周期进行性能数据采集，采集AI任务性能数据时建议使用task-based，如果不配置默认为task-based。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	-
--aic-freq	sample-based场景下的采样频率，默认值100，范围1~100，单位hz。该参数配置前提是ai-core参数设置为on。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	-
--aic-metrics	AI Core、AI Vector Core性能指标采集项。该参数配置前提是ai-core参数设置为on。取值包括： Atlas 200/300/500 推理产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio Atlas 200I/500 A2推理产品：ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache、PipelineExecuteUtilization（默认值） Atlas 推理系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio Atlas 训练系列产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio Atlas A2训练系列产品/Atlas 800I A2推理产品：ArithmeticUtilization、PipeUtilization（默认值）、Memory、MemoryL0、MemoryUB、ResourceConflictRatio、L2Cache 说明：支持自定义需要采集的寄存器，例如：--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。 Custom字段表示自定义类型，配置为具体的寄存器值，取值范围为[0x1, 0x6E]。配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。寄存器的值支持十六进制或十进制。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	op_summary_*.csv
--sys-hardware-mem	任务级别的片上内存采集开关，可选on或off，默认为off。说明：已知在安装有glibc<2.34的环境上采集memory数据，可能触发glibc的一个已知Bug 19329，通过升级环境的glibc版本可解决此问题。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品不同产品支持情况不同，请以实际实现为准。	msprof_.json中的NPU MEM层级 npu_module_mem_.csv
--sys-hardware-mem-freq	任务级别的片上内存信息采集频率，范围[1,100]，默认值为50，单位hz。设置该参数需要sys-hardware-mem参数设置为on。	Atlas 200/300/500 推理产品 Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	-
--l2	采集L2 Cache命中率，可选on或off，默认为off。 Atlas 200I/500 A2推理产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。 Atlas A2训练系列产品/Atlas 800I A2推理产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。	Atlas 200I/500 A2推理产品 Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品	l2_cache_*.csv

父主题： 性能数据采集