昇腾社区首页
开发者
资源
支持
积分兑换 NEW

使用环境变量采集性能数据

环境变量方式采集适用于TensorFlow框架训练/在线推理场景。与直接使用TensorFlow框架接口采集方式不同的是，环境变量方式是在训练/在线推理脚本中直接插入PROFILING_OPTIONS环境变量配置性能数据采集项。

--task-trace后续版本会废弃，请使用--task-time开关控制相关数据采集。

前提条件

  • 训练场景：
    • 准备好基于TensorFlow 1.15开发的训练模型以及配套的数据集，并按照《TensorFlow 1.15模型迁移指南》完成TensorFlow原始模型向AI处理器的迁移。
    • 准备好基于TensorFlow 2.x开发的训练模型以及配套的数据集，并按照《TensorFlow 2.6.5模型迁移指南》完成TensorFlow原始模型向AI处理器的迁移。
  • 在线推理场景：下载预训练模型并准备在线推理脚本。

操作步骤

配置的环境变量内容示例如下。
export PROFILING_MODE=true
export PROFILING_OPTIONS='{"output":"/tmp/profiling","training_trace":"on","task_trace":"on","fp_point":"","bp_point":"","aic_metrics":"PipeUtilization"}'

PROFILING_OPTIONS参数解释及使用方法，请参见Profiling options参数解释。

配置PROFILING_MODE为true但未配置PROFILING_OPTIONS情况下Profiling默认会执行training_trace、task_trace、hccl、aicpu和aic_metrics（PipeUtilization）采集并将采集到的数据保存在当前AI任务所在目录；当配置PROFILING_MODE为true且配置PROFILING_OPTIONS任意参数后，PROFILING_OPTIONS参数默认情况请参见Profiling options参数解释。

采集结果说明

配置PROFILING_OPTIONS参数后请参见使用msprof命令解析、查询与导出性能数据将原始数据文件解析并导出为可视化的性能数据文件，保存在PROF_XXX/mindstudio_profiler_output目录下。