工具使用

msprof op

1. 登录运行环境，使用msprof op 可选参数 app [arguments]格式开启算子上板调优，可选参数的具体情况请参考表2。具体命令示例如下：

   msprof op --output=$home/projects/output $home/projects/MyApp/out/main    // --output为可选参数  $home/projects/MyApp/out/main为使用的app 

2. 通过以下两种方式执行算子调优：
   • 基于可执行文件，以add_custom_npu为例。
     示例一：

     msprof op ./add_custom_npu

     示例二：

     msprof op --aic-metrics=<select_metrics> --output=./output_data ./add_custom_npu 

   • 基于输入算子二进制文件*.o的配置文件.json，具体请参见json配置文件说明。

     msprof op --config=./add_test.json --aic-metrics=<select_metrics> --output=./output_data

3. 命令完成后，会在默认路径或指定的“--output”目录下生成以“OPPROF_{timestamp}_XXX”命名的文件夹，在“--aic-metrics”全部开启时，结构示例如下：
   • 采集多卡多算子的场景。
     

     • MC2算子是一种多卡并行的通算融合算子，由一对AI CPU和AI Core算子组成，AI CPU通道负责通信任务，以AI Core通道负责计算任务。
     • 对MC2算子进行调优时，结果目录下会存在若干以deviceID为名的子目录，这取决于MC2算子定义时指定的NPU数量，每个NPU的调优结果会分别存放在对应的deviceID目录下。

     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

     └──OPPROF_{timestamp}_XXX ├── device0 // 运行时使用昇腾AI处理器的ID └── device1 ├── OpName0 // OpName0为采集算子名称 │ ├── 0 // 表示算子调度顺序 │ │ ├──dump // 与单算子含义一致，存放过程件的文件夹 │ │ └──xxx_yyy.csv //xxx代表该算子生成的指标种类名,例如L2Cache,具体指标种类可参考中的csv文件介绍,yyy为csv文件的时序后缀,例如L2Cache_20240603022812284.csv │ │ └──visualize_data.bin ├── OpName1 │ ├── 0 │ │ ├──dump │ │ └──xxx_yyy.csv │ │ └──visualize_data.bin ├── OpName2 │ ├── 0 │ │ ├── dump │ │ └── xxx_yyy.csv │ │ └──visualize_data.bin │ │ └── mc2_trace.json // 此文件仅适用于MC2算子

   • 采集单卡多算子场景。

     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

     └──OPPROF_{timestamp}_XXX ├── OpName0 // OpName0为采集算子名称 │ ├── 0 // 表示算子调度顺序 │ │ ├── dump // 与单算子含义一致，存放过程件的文件夹 │ │ └── xxx_yyy.csv //xxx代表该算子生成的指标种类名,例如L2Cache,具体指标种类可参考中的csv文件介绍,yyy为csv文件的时序后缀,例如L2Cache_20240603022812284.csv │ │ └──visualize_data.bin │ ├── 1 │ │ ├──dump │ │ └──xxx_yyy.csv │ │ └──visualize_data.bin ├── OpName1 │ ├── 0 │ │ ├── dump │ │ └── xxx_yyy.csv │ │ └── visualize_data.bin

   • 采集单卡单算子场景。

     1 2 3 4 5 6 7 8 9 10 11

     OPPROF_{timestamp}_XXX ├── dump ├── ArithmeticUtilization.csv ├── L2Cache.csv ├── Memory.csv ├── MemoryL0.csv ├── MemoryUB.csv ├── OpBasicInfo.csv ├── PipeUtilization.csv ├── ResourceConflictRatio.csv ├── visualize_data.bin

   表2 msprof op文件介绍

   名称	说明
   dump文件夹	原始的性能数据，用户无需关注。
   ArithmeticUtilization.csv	cube和vector类型的指令耗时和占比，可参考ArithmeticUtilization（cube及vector类型指令耗时和占比）。
   L2Cache.csv	L2 Cache命中率，可参考L2Cache（L2 Cache命中率）。
   Memory.csv	UB/L1/L2/主存储器采集内存读写带宽速率，可参考Memory（内存读写带宽速率）。
   MemoryL0.csv	L0A/L0B/L0C采集内存读写带宽速率，可参考MemoryL0（L0读写带宽速率）。
   MemoryUB.csv	mte/vector/scalar采集ub读写带宽速率，可参考MemoryUB（UB读写带宽速率）。
   PipeUtilization.csv	采集计算单元和搬运单元耗时和占比，可参考PipeUtilization（计算单元和搬运单元耗时占比）。
   ResourceConflictRatio.csv	UB上的bank group、bank conflict和资源冲突在所有指令中的占比，可参考ResourceConflictRatio（资源冲突占比）。
   OpBasicInfo.csv	算子基础信息，包含算子名称、block dim和耗时等信息，可参考OpBasicInfo（算子基础信息）。
   visualize_data.bin	算子基础信息、计算单元负载、热点函数和Roofline瓶颈分析等信息的可视化呈现文件，具体请参考计算内存热力图、Roofline瓶颈分析图、Cache热力图、通算流水图（MC2算子）和算子代码热点图。 说明： visualize_data.bin可通过MindStudio Insight工具进行可视化展示，具体使用方法请参考《MindStudio Insight工具用户指南》。 msprof op的热点函数功能仅支持Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件。 MC2算子仅支持生成通算流水图（MC2算子）。
   mc2_trace.json	MC2通算流水可视化呈现文件，Chrome浏览器具体请参考通算流水图（MC2算子）。

4. 将visualize_data.bin文件导入MindStudio Insight后，将会展示计算内存热力图、Roofline瓶颈分析图、Cache热力图、通算流水图（MC2算子）和算子代码热点图。
5. 将mc2_trace.json文件导入Chrome浏览器或MindStudio Insight后，将会展示通算流水图（MC2算子）。

msprof op simulator

算子调优工具支持仿真环境下的性能数据采集和自动解析。

• 若用户仅需关注部分算子性能时，可在Atlas A3 训练系列产品/Atlas A3 推理系列产品、Atlas 推理系列产品和Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件的单核内调用TRACE_START和TRACE_STOP接口。并在编译配置文件中添加-DASCENDC_TRACE_ON，具体操作请参见添加-DASCENDC_TRACE_ON的方法。然后，才能生成该范围内的流水图信息，具体流水图显示内容可参考指令流水图。
• 用户需在编译配置文件中添加-DASCENDC_TRACE_ON，具体修改方法可参考以下样例工程。
  AddKernelInvocationNeo算子工程，需在${git_clone_path}/samples/operator/ascendc/0_introduction/3_add_kernellaunch/AddKernelInvocationNeo/cmake/npu_lib.cmake文件中新增以下代码。

  ascendc_compile_definitions
  (
      ...
      -DASCENDC_TRACE_ON
  )