--- title: 采集AI任务运行性能数据 description: "msprof支持采集AI任务运行时相关的性能数据，并且在采集后可以自动进行性能数据解析和文件落盘。" url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/Profiling/atlasprofiling_16_0011.html sourcePath: /source/zh/canncommercial/900/devaids/Profiling/atlasprofiling_16_0011.html indexId: 39f83cab538e0ea7720285c67bc39b1ee4f75d305c2519e6349ebf340be6a3c075 --- # 采集AI任务运行性能数据 #### 功能说明 msprof支持采集AI任务运行时相关的性能数据，并且在采集后可以自动进行性能数据解析和文件落盘。 #### 命令格式 Ascend EP形态下，登录运行环境，可在任意目录下执行以下命令。 ``` msprof [options] ``` Ascend RC形态下，登录运行环境，进入msprof工具所在目录“/var”，执行以下命令。 ``` ./msprof [options] ``` app为必选，相关参数说明请参见app参数说明，options参数说明请参见参数说明。 #### 参数说明 - --ascendcl=：可选，控制acl接口性能数据采集的开关，可选on或off，默认为on。可采集acl接口性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。 - --model-execution=：可选，控制ge model execution性能数据采集开关，可选on或off，默认为off。此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。 - --runtime-api=：可选，控制runtime API性能数据采集开关，可选on或off，默认为off。可采集runtime API性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。 - --hccl=：可选，控制通信数据采集开关，可选on或off，默认为off。该数据只在多卡、多节点或集群场景下生成。此开关后续版本会废弃，请使用--task-time开关控制相关数据采集。 - --task-time=：可选，控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值： - l0：采集算子下发耗时、算子执行耗时数据。与l1相比，由于不采集算子基本信息数据，采集时性能开销较小，可更精准统计相关耗时数据。 - l1：采集算子下发耗时、算子执行耗时数据、算子基本信息数据，提供更全面的性能分析数据。该参数支持采集集合通信算子数据。 - on：开启，默认值，和配置为l1的效果一样。 - off：关闭。 - --aicpu=：可选，采集AICPU算子的详细信息，如：计算耗时、数据拷贝耗时等。可选on或off，默认值为off。 - --ai-core=：可选，AI Core数据采集开关。取值可选on或off，--task-time配置为on、l1时，默认为on；--task-time配置为off、l0时，默认为off。 - --aic-mode=：可选，AI Core硬件的采集类型，可选值task-based或sample-based。该参数配置前提是--ai-core参数设置为on。task-based是以task为粒度进行性能数据采集，sample-based是以固定的时间周期进行性能数据采集。 采集AI任务性能数据时建议使用task-based，如果不配置默认为task-based。 - --aic-freq=：可选，sample-based场景下的采样频率，默认值100，范围1~100，单位Hz。该参数配置前提是--ai-core参数设置为on。 - --aic-metrics=：可选，AI Core性能指标采集项。该参数配置前提是--ai-core参数设置为on。取值包括： - ArithmeticUtilization：计算类指令耗时占比 - PipeUtilization：计算类和搬运类指令耗时和占比。 - Memory：内存读写带宽速率 - MemoryL0：L0读写带宽速率 - MemoryUB：UB读写带宽速率 - ResourceConflictRatio：资源冲突占比 - L2Cache：L2 Cache命中率 Atlas 推理系列产品 ：不支持 - PipelineExecuteUtilization：计算类和搬运类指令耗时和占比 Atlas 推理系列产品 ：不支持 Atlas 训练系列产品 ：不支持 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ：不支持 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 ：不支持 Atlas 350 加速卡：不支持 - MemoryAccess： Atlas 200I/500 A2 推理产品 ：不支持 Atlas 推理系列产品 ：不支持 Atlas 训练系列产品 ：不支持 Atlas 350 加速卡：不支持 默认值： Atlas 200I/500 A2 推理产品 ：PipelineExecuteUtilization Atlas 推理系列产品 ：PipeUtilization Atlas 训练系列产品 ：PipeUtilization Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ：PipeUtilization Atlas A3 训练系列产品 / Atlas A3 推理系列产品 ：PipeUtilization Atlas 350 加速卡：PipeUtilization 支持自定义需要采集的寄存器，例如：--aic-metrics=Custom:0x49,0x8,0x15,0x1b,0x64,0x10。Custom字段表示自定义类型，配置为具体的寄存器值，范围[0x1, 0x7FFFFFFF]。并非所有的可取值都有对应的PMU寄存器，若配置的值无对应PMU寄存器，则采集结果可能为0。配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。寄存器的值支持十六进制或十进制。 - --sys-hardware-mem=：可选，片上内存读写速率、QoS传输带宽、LLC三级缓存带宽、加速器带宽、SoC传输带宽、组件内存占用等的采集开关，可选on或off，默认为off。不同型号的采集内容略有差异，请以实际结果为准。 已知在安装有glibc<2.34的环境上采集memory数据，可能触发glibc的一个已知Bug 19329(https://sourceware.org/bugzilla/show_bug.cgi?id=19329)，通过升级环境的glibc版本可解决此问题。 - --sys-hardware-mem-freq=：可选，--sys-hardware-mem的采集频率，范围[1,100]，默认值为50，单位Hz。 Atlas 350 加速卡，QoS和SoC支持的采集频率最大支持配置10000，其他采集项支持的最大采集频率仍为100，若配置超出范围，其他采集项则按照最大采集频率100进行采集。 设置该参数需要--sys-hardware-mem参数设置为on。 对于以下型号，采集任务结束后，不建议用户增大采集频率，否则可能导致SoC传输带宽数据丢失。 Atlas 200I/500 A2 推理产品 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 - --l2=：可选，采集L2 Cache、TLB页表缓存的命中率，可选on或off，默认为off。 - Atlas A2 训练系列产品 / Atlas A2 推理系列产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。 - Atlas A3 训练系列产品 / Atlas A3 推理系列产品：分析AI Core命中L2次数推荐使用--aic-metrics=L2Cache。 - --ge-api=：可选，采集动态Shape算子在Host调度阶段的耗时数据。相关数据生成在msprof_*.json和api_statistic_*.csv文件中。取值： - off：关闭，默认off。 - l0：采集动态Shape算子在Host调度主要阶段的耗时数据，可更精准统计相关耗时数据。 - l1：采集动态Shape算子在Host调度阶段更细粒度的耗时数据，提供更全面的性能分析数据。 - --task-memory=：可选，CANN算子级内存占用情况采集开关，用于优化内存使用。取值： - on：开启 - off：关闭，默认为off 单算子场景下，按照GE组件维度和算子维度采集算子内存大小及生命周期信息（单算子API执行场景不采集GE组件内存）；静态图和静态子图场景下，按照算子维度采集算子内存大小及生命周期信息。 #### 使用示例 Ascend EP场景下，登录运行环境，在任意路径下执行以下命令： ``` msprof --output= /home/projects/output --ascendcl=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on /home/projects/MyApp/out/main ``` 在--output指定的目录下生成PROF_XXX目录，存放自动解析后的性能数据，相关结果文件请参见性能数据文件参考。 Ascend RC场景下，登录运行环境，进入msprof工具所在目录“/var”，执行以下命令： ``` ./msprof --output= /home/projects/output --ascendcl=on --runtime-api=on --task-time=on --aicpu=on --ai-core=on /home/projects/MyApp/out/main ``` 在--output指定的目录下生成PROF_XXX目录，该目录下的文件未经解析无法查看，您需要将PROF_XXX目录上传到开发环境进行数据解析，具体操作方法请参见使用msprof命令解析、查询与导出性能数据。