前提条件

训练场景：
- 准备好基于TensorFlow 1.x开发的训练模型以及配套的数据集，并按照《TensorFlow 1.15网络模型迁移和训练指南》中的“手工迁移”或“自动迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
- 准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集，并按照《TensorFlow 2.6.5网络迁移和训练指南》中的“手工迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
在线推理场景：下载预训练模型并准备在线推理脚本。

采集性能原始数据

配置的环境变量内容示例如下。

export PROFILING_MODE=true
export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'

PROFILING_OPTIONS参数解释及使用方法，请参见Profiling options参数解释。

配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics（PipeUtilization）采集并将采集到的数据保存在当前AI任务所在目录；当配置profiling_mode为true且配置profiling_options任意参数后，profiling_options参数默认情况请参见Profiling options参数解释。

采集数据说明

配置环境变量方式参数后请参见性能数据解析与导出（msprof命令）将原始数据文件解析并导出为可视化的timeline和summary文件。

生成的Profiling数据如表1和表2所示。

表1 timeline文件介绍
timeline文件名	相关参数	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见msprof（timeline数据总表）。
task_time_*.json	task_time（可选）	Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。
step_trace_*.json	task_time	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。
hccl_*.json	task_time hccl 以上参数二选一	HCCL数据。文件详情请参见HCCL集合通信算子数据。
ddr_*.json	sys_hardware_mem_freq	DDR内存读写速率。详情请参见DDR内存读写速率数据。
hbm_*.json	sys_hardware_mem_freq	HBM内存读写速率。文件详情请参见HBM内存读写速率数据。
llc_read_write_*.json	sys_hardware_mem_freq	三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。
acc_pmu_*.json	sys_hardware_mem_freq	加速器带宽及并发数据。文件详情请参见加速器带宽及并发数据。
stars_soc_*.json	sys_hardware_mem_freq	SOC传输带宽信息。文件详情请参见SoC传输带宽信息数据。
npu_mem_*.json	sys_hardware_mem_freq	NPU内存占用信息。文件详情请参见NPU内存占用数据。
nic_*.json	sys_io_sampling_freq	每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。
roce_*.json	sys_io_sampling_freq	RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。
hccs_*.json	sys_interconnection_freq	集合通信带宽数据。文件详情请参见集合通信带宽数据。
pcie_*.json	sys_interconnection_freq	PCIe带宽。详情请参见PCIe带宽数据。
stars_chip_trans_*.json	sys_interconnection_freq	片间传输带宽信息。文件详情请参见片间传输带宽信息数据。
instr_*.json	instr_profiling_freq	AI Core和AI Vector的带宽和延时数据。文件详情请参见AI Core和AI Vector的带宽和延时数据。
host_cpu_usage.json	host_sys	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.json	host_sys	Host侧内存利用率。详情请参见Host侧内存利用率数据。
msproftx数据	msproftx	msproftx数据，通过采集操作采集用户和上层框架程序的性能数据，并由msproftx参数进行数据导出。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。

表2 summary文件介绍
summary文件名	相关参数	说明
api_statistic_*.csv	runtime_api（可选） hccl（可选） task_trace、task_time（可选）	用于统计CANN层的API执行耗时信息。详情请参见API信息统计数据。
op_summary_*.csv	-	AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	-	AI Core和AI CPU算子调用次数及耗时，从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。
step_trace_*.csv	-	迭代轨迹数据。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。单算子场景下无此性能数据文件。
fusion_op_*.csv	-	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。单算子场景下无此性能数据文件。
task_time_*.csv	task_time	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
aicpu_*.csv	aicpu	AI CPU数据。文件详情请参见AI CPU数据。
dp_*.csv	aicpu	数据增强Data PreProcess数据。文件详情请参见数据增强数据。
l2_cache_*.csv	l2	L2 Cache数据。详情请参见L2 Cache数据。
hccl_statistic_*.csv	task_time hccl 以上参数二选一	HCCL集合通信算子统计信息。详情请参见HCCL集合通信算子统计信息。
ddr_*.csv	sys_hardware_mem_freq	DDR内存读写速率。详情请参见DDR内存读写速率数据。
hbm_*.csv	sys_hardware_mem_freq	HBM内存读写速率，data中包含hbm.开头的文件。详情请参见HBM内存读写速率数据。
npu_mem_*.csv	sys_hardware_mem_freq	NPU内存占用信息。文件详情请参见NPU内存占用数据。
llc_read_write_*.csv	sys_hardware_mem_freq	三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。
nic_*.csv	sys_io_sampling_freq	每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。
roce_*.csv	sys_io_sampling_freq	RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。
hccs_*.csv	sys_interconnection_freq	集合通信带宽数据。文件详情请参见集合通信带宽数据。
pcie_*.csv	sys_interconnection_freq	PCIe带宽。详情请参见PCIe带宽数据。
dvpp_*.csv	dvpp_freq	DVPP数据。文件详情请参见DVPP数据。
cpu_usage.csv	host_sys_usage	Host侧系统CPU利用率数据。文件详情请参见Host侧系统CPU利用率数据。
sys_mem.csv	host_sys_usage	Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据。
process_cpu_usage.csv	host_sys_usage	Host侧所有进程CPU利用率数据。生成文件详情请参见Host侧进程CPU利用率数据。
process_mem.csv	host_sys_usage	Host侧所有进程内存利用率数据。文件详情请参见Host侧进程内存利用率数据。
host_cpu_usage.csv	host_sys	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.csv	host_sys	Host侧内存利用率。详情请参见Host侧内存利用率数据。
prof_rule_0.json	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。

使用环境变量采集

前提条件

采集性能原始数据

采集数据说明