采集数据说明

配置调用AscendCL API方式采集后请参见性能数据解析与导出(msprof命令)将原始数据文件解析并导出为可视化的timeline和summary文件。

生成的Profiling数据如表1表2所示。

表1 timeline文件介绍

timeline文件名

相关参数

说明

msprof_*.json

所有可生成数据的参数均会在此文件写入数据。

timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见msprof(timeline数据总表)

task_time_*.json

ACL_PROF_TASK_TIME

Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据

step_trace_*.json

ACL_PROF_TASK_TIME

迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。

hccl_*.json

ACL_PROF_TASK_TIME

ACL_PROF_HCCL_TRACE

以上参数二选一

HCCL数据。文件详情请参见HCCL集合通信算子数据

ddr_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

DDR内存读写速率。详情请参见DDR内存读写速率数据

hbm_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

HBM内存读写速率。文件详情请参见HBM内存读写速率数据

npu_mem_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

NPU内存占用信息。文件详情请参见NPU内存占用数据

llc_aicpu_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

AI CPU的三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。文件详情请参见AI CPU的三级缓存使用量数据

llc_ctrlcpu_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

Control CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。文件详情请参见Control CPU三级缓存使用量数据

llc_bandwidth_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

三级缓存带宽,LLC Profiling采集事件设置为bandwidth时才会导出该文件。文件详情请参见三级缓存带宽数据。仅Atlas 200/300/500 推理产品支持。

llc_read_write_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据

acc_pmu_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

加速器带宽及并发数据。文件详情请参见加速器带宽及并发数据

stars_soc_*.json

ACL_PROF_SYS_HARDWARE_MEM_FREQ

SOC传输带宽信息。文件详情请参见SoC传输带宽信息数据

nic_*.json

ACL_PROF_SYS_IO_FREQ

每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据

roce_*.json

ACL_PROF_SYS_IO_FREQ

RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据

hccs_*.json

ACL_PROF_SYS_INTERCONNECTION_FREQ

集合通信带宽数据。文件详情请参见集合通信带宽数据

pcie_*.json

ACL_PROF_SYS_INTERCONNECTION_FREQ

PCIe带宽。详情请参见PCIe带宽数据

stars_chip_trans_*.json

ACL_PROF_SYS_INTERCONNECTION_FREQ

片间传输带宽信息。文件详情请参见片间传输带宽信息数据

host_cpu_usage.json

ACL_PROF_HOST_SYS

Host侧CPU利用率。详情请参见Host侧CPU利用率数据

host_mem_usage.json

ACL_PROF_HOST_SYS

Host侧内存利用率。详情请参见Host侧内存利用率数据

msproftx数据

ACL_PROF_MSPROFTX

msproftx数据,通过采集操作采集用户和上层框架程序的性能数据,并由ACL_PROF_MSPROFTX参数进行数据导出。

注:“*”表示{device_id}_{model_id}_{iter_id}_{timestamp},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID,{timestamp}表示时间戳。

表2 summary文件介绍

summary文件名

相关参数

说明

api_statistic_*.csv

ACL_PROF_ACL_API(可选)

ACL_PROF_RUNTIME_API(可选)

ACL_PROF_HCCL_TRACE(可选)

ACL_PROF_TASK_TIME(可选)

用于统计CANN层的API执行耗时信息。详情请参见API信息统计数据

op_summary_*.csv

ACL_PROF_TASK_TIME

AI Core和AI CPU算子数据。详情请参见AI Core和AI CPU算子数据

op_statistic_*.csv

ACL_PROF_TASK_TIME

AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据

设置为ACL_PROF_TASK_TIME_L0时,不解析该文件数据。

step_trace_*.csv

ACL_PROF_TASK_TIME

迭代轨迹数据。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。

memory_record_*.csv

ACL_PROF_TASK_MEMORY

CANN算子的内存占用记录。详情请参见CANN算子的内存占用记录

operator_memory_*.csv

ACL_PROF_TASK_MEMORY

CANN算子的内存占用明细。详情请参见CANN算子的内存占用明细

fusion_op_*.csv

ACL_PROF_TASK_TIME

模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。单算子场景下无此性能数据文件。

task_time_*.csv

ACL_PROF_TASK_TIME

Task Scheduler的任务调度信息数据。详情请参见:

aicpu_*.csv

ACL_PROF_AICPU

AI CPU数据,生成该csv文件需要采集的Profiling数据中包含DATA_PREPROCESS.dev.AICPU.开头的文件。文件详情请参见AI CPU数据

l2_cache_*.csv

ACL_PROF_L2CACHE

L2 Cache数据。详情请参见L2 Cache数据

hccl_statistic_*.csv

ACL_PROF_TASK_TIME

ACL_PROF_HCCL_TRACE

以上参数二选一

HCCL集合通信算子统计信息。详情请参见HCCL集合通信算子统计信息

ddr_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

DDR内存读写速率。详情请参见DDR内存读写速率数据

hbm_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

HBM内存读写速率,data中包含hbm.开头的文件。详情请参见HBM内存读写速率数据

npu_mem_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

NPU内存占用信息。文件详情请参见NPU内存占用数据

llc_aicpu_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

AI CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。详情请参见AI CPU三级缓存使用量数据

llc_ctrlcpu_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

Control CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。详情请参见Ctrl CPU三级缓存使用量数据

llc_bandwidth_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

ACL_PROF_LLC_MODE

三级缓存带宽,LLC Profiling采集事件设置为bandwidth时才会导出该文件。三级缓存带宽数据

llc_read_write_*.csv

ACL_PROF_SYS_HARDWARE_MEM_FREQ

三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据

nic_*.csv

ACL_PROF_SYS_IO_FREQ

每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据

roce_*.csv

ACL_PROF_SYS_IO_FREQ

RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据

hccs_*.csv

ACL_PROF_SYS_INTERCONNECTION_FREQ

集合通信带宽数据。文件详情请参见集合通信带宽数据

pcie_*.csv

ACL_PROF_SYS_INTERCONNECTION_FREQ

PCIe带宽。详情请参见PCIe带宽数据

dvpp_*.csv

ACL_PROF_DVPP_FREQ

DVPP数据。文件详情请参见DVPP数据

cpu_usage.csv

ACL_PROF_HOST_SYS_USAGE

ACL_PROF_HOST_SYS_USAGE_FREQ

Host侧系统CPU利用率数据。文件详情请参见Host侧系统CPU利用率数据

sys_mem.csv

ACL_PROF_HOST_SYS_USAGE

ACL_PROF_HOST_SYS_USAGE_FREQ

Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据

process_cpu_usage.csv

ACL_PROF_HOST_SYS_USAGE

ACL_PROF_HOST_SYS_USAGE_FREQ

Host侧所有进程CPU利用率数据。生成文件详情请参见Host侧进程CPU利用率数据

process_mem.csv

ACL_PROF_HOST_SYS_USAGE

ACL_PROF_HOST_SYS_USAGE_FREQ

Host侧所有进程内存利用率数据。文件详情请参见Host侧进程内存利用率数据

host_cpu_usage.csv

ACL_PROF_HOST_SYS

Host侧CPU利用率。详情请参见Host侧CPU利用率数据

host_mem_usage.csv

ACL_PROF_HOST_SYS

Host侧内存利用率。详情请参见Host侧内存利用率数据

prof_rule_0.json

-

调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议

注:“*”表示{device_id}_{model_id}_{iter_id}_{timestamp},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID,{timestamp}表示时间戳。