环境变量方式Profiling适用于在线推理/训练场景TensorFlow框架下开启Profiling数据采集。

前提条件

训练场景：
- 准备好基于TensorFlow 1.x开发的训练模型以及配套的数据集，并按照《TensorFlow 1.15网络模型迁移和训练指南》中的“手工迁移”或“自动迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
- 准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集，并按照《TensorFlow 2.6.5网络模型迁移和训练指南》中的“手工迁移”完成TensorFlow原始模型向昇腾AI处理器的迁移。
在线推理场景：下载预训练模型并准备在线推理脚本。

采集性能原始数据

配置的环境变量内容示例如下。

export PROFILING_MODE=true
export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'

PROFILING_OPTIONS参数解释及使用方法，请参见Profiling options参数解释。

配置profiling_mode为true但未配置profiling_options情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics（PipeUtilization）采集并将采集到的数据保存在当前AI任务所在目录；当配置profiling_mode为true且配置profiling_options任意参数后，profiling_options参数默认情况请参见Profiling options参数解释。

采集数据说明

配置环境变量方式参数后请参见性能数据解析与导出将原始数据文件解析并导出为可视化的Timeline和Summary文件。

生成的Profiling数据如表1和表2所示。

表1 timeline文件介绍
timeline文件名	相关参数	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
ai_stack_time_*.json	runtime_api task_time 以上参数可选。	各个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见AscendCL、GE、Runtime、Task Scheduler组件耗时数据概览。
thread_group_*.json	runtime_api task_time 以上参数可选。	AscendCL，GE，Runtime组件耗时数据。该文件内的各组件数据按照线程（Thread）粒度进行排列，方便查看各线程下各组件的耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见AscendCL、GE、Runtime组件耗时完整数据（按线程粒度展示）。
task_time_*.json	task_time（可选）	Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。
runtime_api_*.json	runtime_api	Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据。
ge_*.json	task_time（可选）	GE接口耗时数据。文件详情请参见GE接口耗时数据。
ge_op_execute_*.json	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
step_trace_*.json	task_time	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。
hccl_*.json	hccl	HCCL数据。文件详情请参见HCCL数据。
ddr_*.json	sys_hardware_mem_freq	片上内存读写速率。详情请参见片上内存读写速率数据。仅Atlas 200/300/500 推理产品、Atlas 推理系列产品、Atlas 训练系列产品支持。
hbm_*.json	sys_hardware_mem_freq	片上内存读写速率。文件详情请参见片上内存读写速率数据。仅Atlas 训练系列产品、Atlas A2训练系列产品支持。
llc_read_write_*.json	sys_hardware_mem_freq	三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
acc_pmu_*.json	sys_hardware_mem_freq	加速器带宽及并发数据。文件详情请参见加速器带宽及并发数据。仅Atlas A2训练系列产品支持。
stars_soc_*.json	sys_hardware_mem_freq	SOC传输带宽信息。文件详情请参见SOC传输带宽信息数据。仅Atlas A2训练系列产品支持。
npu_mem_*.json	sys_hardware_mem_freq	NPU内存占用信息。文件详情请参见NPU内存占用数据。
nic_*.json	sys_io_sampling_freq	每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。仅Atlas 200/300/500 推理产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
roce_*.json	sys_io_sampling_freq	RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。仅Atlas 训练系列产品、Atlas A2训练系列产品支持。
hccs_*.json	sys_interconnection_freq	集合通信带宽数据。文件详情请参见集合通信带宽数据。仅Atlas 训练系列产品、Atlas A2训练系列产品支持。
pcie_*.json	sys_interconnection_freq	PCIe带宽。详情请参见PCIe带宽数据。仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
stars_chip_trans_*.json	sys_interconnection_freq	片间传输带宽信息。文件详情请参见片间传输带宽信息数据。仅Atlas A2训练系列产品支持。
instr_*.json	instr_profiling_freq	AI Core和AI Vector的带宽和延时数据。文件详情请参见AI Core和AI Vector的带宽和延时数据。仅Atlas A2训练系列产品支持。
host_cpu_usage.json	host_sys	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.json	host_sys	Host侧内存利用率。详情请参见Host侧内存利用率数据。
msproftx数据	msproftx	msproftx数据，通过采集操作采集用户和上层框架程序的性能数据，并由msproftx参数进行数据导出。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。

表2 summary文件介绍
summary文件名	相关参数	说明
op_summary_*.csv	-	AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	-	AI Core和AI CPU算子调用次数及耗时，从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据。
step_trace_*.csv	-	迭代轨迹数据。文件详情请参见迭代轨迹数据。
ai_stack_time_*.csv	runtime_api task_time 以上参数可选。	每个组件（AscendCL，GE，Runtime，Task Scheduler）的耗时。详情请参见各个组件的耗时数据。
runtime_api_*.csv	runtime_api	每个runtime api的调用时长。详情请参见Runtime接口耗时数据。
fusion_op_*.csv	-	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。
task_time_*.csv	task_time	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
ge_op_execute_*.csv	task_time	算子下发各阶段耗时数据。当模型为动态Shape时自动采集并生成该文件。文件详情请参见算子下发各阶段耗时数据。
aicpu_*.csv	aicpu	AI CPU数据。文件详情请参见AI CPU数据。
dp_*.csv	aicpu	数据增强Data PreProcess数据。文件详情请参见数据增强数据。仅Atlas 训练系列产品支持。
l2_cache_*.csv	l2	L2Cache数据。详情请参见L2Cache数据。Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
ddr_*.csv	sys_hardware_mem_freq	片上内存读写速率。详情请参见片上内存读写速率数据。仅Atlas 200/300/500 推理产品、Atlas 推理系列产品、Atlas 训练系列产品支持。
hbm_*.csv	sys_hardware_mem_freq	片上内存读写速率。详情请参见片上内存读写速率数据。仅Atlas 训练系列产品、Atlas A2训练系列产品支持。
npu_mem_*.csv	sys_hardware_mem_freq	NPU内存占用信息。文件详情请参见NPU内存占用数据。
llc_read_write_*.csv	sys_hardware_mem_freq	三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据。仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
nic_*.csv	sys_io_sampling_freq	每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据。仅Atlas 200/300/500 推理产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
roce_*.csv	sys_io_sampling_freq	RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据。Atlas 训练系列产品、Atlas A2训练系列产品支持。
hccs_*.csv	sys_interconnection_freq	集合通信带宽数据。文件详情请参见集合通信带宽数据。Atlas 训练系列产品、Atlas A2训练系列产品支持。
pcie_*.csv	sys_interconnection_freq	PCIe带宽。详情请参见PCIe带宽数据。仅Atlas 推理系列产品、Atlas 训练系列产品、Atlas A2训练系列产品支持。
dvpp_*.csv	dvpp_freq	DVPP数据。文件详情请参见DVPP数据。
cpu_usage.csv	host_sys_usage	Host侧系统CPU利用率数据。文件详情请参见Host侧系统CPU利用率数据。
sys_mem.csv	host_sys_usage	Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据。
process_cpu_usage.csv	host_sys_usage	Host侧所有进程CPU利用率数据。生成文件详情请参见Host侧进程CPU利用率数据。
process_mem.csv	host_sys_usage	Host侧所有进程内存利用率数据。文件详情请参见Host侧进程内存利用率数据。
host_cpu_usage.csv	host_sys	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.csv	host_sys	Host侧内存利用率。详情请参见Host侧内存利用率数据。
prof_rule_0.json	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID。

使用环境变量采集

前提条件

采集性能原始数据

采集数据说明