采集数据目录说明

原始的性能数据落盘目录结构为：

调用tensorboard_trace_handler函数时的落盘目录结构：

└── localhost.localdomain_139247_20230628101435_ascend_pt    // 解析结果目录，命名格式：{worker_name}_{时间戳}_ascend_pt，默认情况下{worker_name}为{hostname}_{pid}
    ├── ASCEND_PROFILER_OUTPUT          // Ascend PyTorch Profiler接口采集性能数据
    │   ├── data_preprocess.csv        // experimental_config开启torch_npu.profiler.ProfilerLevel.Level2生成
    │   ├── kernel_details.csv
    │   ├── l2_cache.csv               // experimental_config开启l2_cache生成
    │   ├── memory_record.csv
    │   ├── operator_details.csv
    │   ├── operator_memory.csv
    │   └── trace_view.json
    ├── FRAMEWORK                      // 框架侧的性能原始数据，无需关注
    │   ├── torch.memory_usage
    │   ├── torch.op_mark
    │   └── torch.op_range
    └── PROF_000001_20230628101435646_FKFLNPEPPRRCFCBA  // CANN层的性能数据，命名格式：PROF_{数字}_{时间戳}_{字符串}
    │    ├── device_x
    │    └── host

Ascend PyTorch Profiler接口将框架侧的数据与CANN Profling的数据关联整合，形成trace、kernel以及memory等性能数据文件。各文件详细说明如下文所示。

FRAMEWORK为框架侧的性能原始数据，无需关注；PROF目录下为CANN Profling采集的性能数据，目录下的timeline和summary目录数据介绍请参见性能数据文件参考。

调用export_chrome_trace方法时，Ascend PyTorch Profiler接口会将解析的trace数据写入到*.json文件中，其中*为文件名，不存在该文件时在指定路径下自动创建。

图1 trace_view
点击放大

如图1所示，trace数据主要展示如下区域：

区域1：上层应用数据，包含上层应用算子的耗时信息。
区域2：CANN层数据，主要包含AscendCL、GE和Runtime组件的耗时数据。
区域3：底层NPU数据，主要包含Task Scheduler组件耗时数据和迭代轨迹数据以及其他昇腾AI处理器系统数据。
区域4：展示trace中各算子、接口的详细信息。单击各个trace事件时展示。

图2 trace_view（record_shapes）
点击放大

打开record_shapes开关时，trace_view中的上层应用算子会显示Input Dims和Input type信息。

图3 trace_view（with_stack）
点击放大

打开with_stack开关时，trace_view中的上层应用算子会显示Call stack信息。

图4 kernel_details
点击放大

kernel_details.csv文件由torch_npu.profiler.ProfilerActivity.NPU开关控制，文件包含在NPU上执行的所有算子的信息，若用户前端调用了schedule进行step打点，则会增加Step Id字段。字段信息如表1所示。

当配置experimental_config的aic_metrics参数时，kernel_details.csv文件将根据experimental_config参数配置增加对应字段，主要增加内容请参见experimental_config扩展参数。

表1 kernel_details
字段名	字段解释
Step Id	迭代ID。
Name	算子名。
Type	算子类型。
Accelerator Core	AI加速核类型，包括AI Core、AI CPU等。
Start Time(us)	算子执行开始时间，单位us。
Duration(us)	当前算子执行耗时，单位us。
Wait Time(us)	算子执行等待时间，单位us。
Block Dim	运行切分数量，对应任务执行时核数。
Input Shapes	算子输入Shape。
Input Data Types	算子输入数据类型。
Input Formats	算子输入数据格式。
Output Shapes	算子输出Shape。
Output Data Types	算子输出数据类型。
Output Formats	算子输出数据格式。

图5 memory_record
点击放大

memory_record.csv文件由profile_memory开关控制，文件包含PTA和GE的内存占用记录，主要记录PTA和GE组件申请的内存及占用时间。字段信息如表2所示。

表2 memory_record
字段名	字段解释
Component	组件，包含PTA和GE组件。
Timestamp(us)	时间戳，记录内存占用的起始时间。
Total Allocated(MB)	内存分配总额。
Total Reserved(MB)	内存预留总额。
Device Type	设备类型和设备ID，仅涉及NPU。

图6 operator_memory
点击放大

operator_memory.csv文件由profile_memory开关控制，文件包含算子的内存占用明细，主要记录算子在NPU上执行所需内存及占用时间，其中内存由PTA和GE申请。字段信息如表3所示。

表3 operator_memory
字段名	字段解释
Name	算子名称。
Size(KB)	算子占用内存大小，单位KB。
Allocation Time(us)	内存分配时间，单位us。
Release Time(us)	内存释放时间，单位us。
Duration(us)	内存占用时间，单位us。
Allocation Total Allocated(MB)	算子内存分配时PTA和GE内存分配总额，单位MB。
Allocation Total Reserved(MB)	算子内存分配时PTA和GE内存占用总额，单位MB。
Release Total Allocated(MB)	算子内存释放时PTA和GE内存分配总额，单位MB。
Release Total Reserved(MB)	算子内存释放时PTA和GE内存占用总额，单位MB。
Device Type	设备类型和设备ID，仅涉及NPU。

图7 operator_details
点击放大

operator_details.csv文件由torch_npu.profiler.ProfilerActivity.CPU开关控制，operator_details.csv文件包含信息如表4所示。

表4 operator_details
字段	说明
Name	算子名称。
Input Shapes	Shape信息。
Call Stack	函数调用栈信息。由with_stack字段控制。
Host Self Duration(us)	算子在Host侧的耗时（除去内部调用的其他算子），单位us。
Host Total Duration(us)	算子在Host侧的耗时，单位us。
Device Self Duration(us)	算子在Device侧的耗时（除去内部调用的其他算子），单位us。
Device Total Duration(us)	算子在Device侧的耗时，单位us。
Device Self Duration With AICore(us)	算子在Device侧执行在AI Core上的耗时（除去内部调用的算子），单位us。
Device Total Duration With AICore(us)	算子在Device侧执行在AI Core上的耗时，单位us。

Ascend PyTorch Profiler接口采集性能数据说明

采集数据目录说明