Ascend Graph API是在构图过程中采集性能数据。

该章节提供通过Ascend Graph API编程接口的两种方式使能Profiling：

表1 Profiling性能数据采集方式
序号	采集方式
方式一	通过GEInitialize传入option参数： ge.exec.profilingMode ge.exec.profilingOptions
方式二	调用如下接口，采集Profiling性能数据： aclgrphProfInit aclgrphProfFinalize aclgrphProfCreateConfig aclgrphProfDestroyConfig aclgrphProfStart aclgrphProfStop 如果需要采集迭代轨迹数据，还需要通过GEInitialize传入option参数ge.exec.profilingOptions或通过环境变量PROFILING_OPTIONS传入。传入字段包括training_trace。

采集性能原始数据方式一

参考以下示例通过GEInitialize传入option参数：

// 0. System init
  std::map<AscendString, AscendString> config = {{"ge.exec.deviceId", "0"},
                                    {"ge.graphRunMode", "1"},
                                    {"ge.exec.precision_mode", "allow_fp32_to_fp16"},
                                    {"ge.exec.profilingMode", "1"},
                                    {"ge.exec.profilingOptions",  R"({"output":"/tmp/profiling","training_trace":"on","fp_point":"","bp_point":""})"}};
  Status ret = ge::GEInitialize(config);
  if (ret != SUCCESS) {
    return FAILED;
  }

ge.exec.profilingOptions接口的Profiling开关具体支持情况请参见《Ascend Graph开发指南》中“接口参考 > 构图接口 > 数据类型 > options参数说明”章节的ge.exec.profilingOptions接口参数说明。

采集性能原始数据方式二

参考以下示例调用接口，采集Profiling性能数据：

  // 构造Graph，该步骤省略
  // ......

  // init ge
  std::map<std::string, std::string> ge_options = {{"ge.socVersion", "Ascend910"}, {"ge.graphRunMode", "1"}};
  ge::GEInitialize(ge_options);

  std::string profilerResultPath = "/home/test/prof";       //该路径需要提前创建
  uint32_t length = strlen("/home/test/prof");
  ret = ge::aclgrphProfInit(profilerResultPath.c_str(), length);     

  std::map<string, string> options = {{"a", "b"}, {"c", "d"}};
  uint32_t graphId = 0;

  ge::Session *session = new Session(options);
  ret = session->AddGraph(graphId, graph);

  uint32_t deviceid_list[1] = {0};
  uint32_t device_nums = 1;
  uint64_t data_type_config = ProfDataTypeConfig::kProfTaskTime | ProfDataTypeConfig::kProfAiCoreMetrics | ProfDataTypeConfig::kProfAicpu | ProfDataTypeConfig::kProfTrainingTrace;
  ProfAicoreEvents *aicore_events = NULL;
  ProfilingAicoreMetrics aicore_metrics = ProfilingAicoreMetrics::kAicoreArithmeticUtilization;  
  ge::aclgrphProfConfig *pro_config = ge::aclgrphProfCreateConfig(deviceid_list, device_nums, aicore_metrics, aicore_events, data_type_config);

  ge::aclgrphProfStart(pro_config);

  session->RunGraph(graphId, inputs_r, outputs_r);

  ge::aclgrphProfStop(pro_config);

  ge::aclgrphProfDestroyConfig(pro_config);

  ge::aclgrphProfFinalize();

  delete session;
  ge::GEFinalize();

采集数据说明

配置Ascend Graph API方式参数后请参见性能数据解析与导出（msprof命令）将原始数据文件解析并导出为可视化的timeline和summary文件。

生成的Profiling数据如表2和表3所示。

表2 timeline文件介绍
timeline文件名	相关参数（GEInitialize传入option）	相关参数（aclgrph）	说明
msprof_*.json	所有可生成数据的参数均会在此文件写入数据。	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见msprof（timeline数据总表）。
task_time_*.json	-	kProfTaskTime	Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据。
step_trace_*.json	-	kProfTaskTime	迭代轨迹数据，每轮迭代的耗时。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。
hccl_*.json	task_time hccl 以上参数二选一	kProfTaskTime kProfHccl 以上参数二选一	HCCL数据。文件详情请参见HCCL集合通信算子数据。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。

表3 summary文件介绍
summary文件名	相关参数（GEInitialize传入option）	相关参数（aclgrph）	说明
api_statistic_*.csv	runtime_api（可选） hccl（可选） task_trace、task_time（可选）	kProfHccl（可选） kProfTaskTime（可选）	用于统计CANN层的API执行耗时信息。详情请参见API信息统计数据。
op_summary_*.csv	task_trace、task_time	kProfTaskTime	AI Core和AI CPU算子数据。文件详情请参见AI Core和AI CPU算子数据。
op_statistic_*.csv	task_trace、task_time	kProfTaskTime	AI Core和AI CPU算子计数表，从算子类型维度找出耗时最大的算子类型。文件详情请参见AI Core和AI CPU算子调用次数及耗时数据。设置为kProfTaskTimeL0或task_trace、task_time设置为l0时，不解析该文件数据。
step_trace_*.csv	-	kProfTaskTime	迭代轨迹数据。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。
fusion_op_*.csv	-	kProfTaskTime	模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。单算子场景下无此性能数据文件。
task_time_*.csv	task_trace、task_time	kProfTaskTime	Task Scheduler的任务调度信息数据。详情请参见Task Scheduler的任务调度信息数据。
aicpu_*.csv	aicpu	kProfAicpu	AI CPU数据。文件详情请参见AI CPU数据。
l2_cache_*.csv	不支持采集	kProfL2cache	L2 Cache数据。详情请参见L2 Cache数据。
hccl_statistic_*.csv	task_time hccl 以上参数二选一	kProfTaskTime kProfHccl 以上参数二选一	HCCL集合通信算子统计信息。详情请参见HCCL集合通信算子统计信息。
sys_mem.csv	host_sys_usage	-	Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据。
cpu_usage.csv	host_sys_usage	-	Host侧系统CPU利用率数据。详情请参见Host侧系统CPU利用率数据。
process_cpu_usage.csv	host_sys_usage	-	Host侧进程CPU利用率数据。详情请参见Host侧进程CPU利用率数据。
process_mem.csv	host_sys_usage	-	Host侧进程内存利用率数据。详情请参见Host侧进程内存利用率数据。
prof_rule_0.json	-	-	调优建议。无需指定Profiling参数自动生成，完成后打屏显示结果，详细介绍请参见性能调优建议。
注：“*”表示{device_id}_{model_id}_{iter_id}_{timestamp}，其中{device_id}表示设备ID，{model_id}表示模型ID，{iter_id}表示某轮迭代的ID，{timestamp}表示时间戳。

采集操作

采集性能原始数据方式一

采集性能原始数据方式二

采集数据说明