使用acl.json配置文件采集

该章节提供离线推理场景下通过运行应用工程可执行文件、调用acl.json文件,读取Profiling相关配置,从而自动采集性能原始数据。采集性能原始数据成功后,可将采集的原始数据取到装有Ascend-cann-toolkit开发套件包的开发环境上进行性能数据解析,展示性能数据解析结果。

  • 关于应用工程编译、运行的详细方法,请参见应用软件开发指南 (C&C++)
  • 使用该方法,务必调用aclInit()接口完成AscendCL初始化、和调用aclFinalize()完成AscendCL去初始化。

采集性能原始数据

参考以下步骤完成acl.json文件配置,并完成应用工程编译和运行:

  1. 打开aclInit()函数所在的推理应用工程代码文件,获取acl.json文件路径。

    // ACL init
    const char *aclConfigPath = "../src/acl.json";
    aclError ret = aclInit(aclConfigPath);
    if (ret != ACL_ERROR_NONE) {
        ERROR_LOG(“acl init failed”);
        return FAILED;
    }
    INFO_LOG(“acl init success”);

    如果aclInit()初始化为空,则需要修改该函数,补充步骤2创建的acl.json文件路径。

  2. 在查出的目录下修改acl.json文件(如不存在该文件,则需要新建,建议放在工程编译后的src目录下),添加Profiling相关配置,格式如下所示。

    {
    "profiler": {
                  "switch": "on",
                  "output": "output",
                  "aicpu": "on"
                }
    }
    表1 profiler参数说明

    参数

    描述

    支持情况

    switch

    Profiling开关,取值on或off。

    on表示开启Profiling,off表示关闭Profiling;如果缺失该参数或参数值不为on,则表示关闭Profiling。

    开启Profiling开关后自动采集AscendCL、Runtime接口和Task Scheduler任务调度信息数据。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    output

    Profiling性能数据落盘路径。未配置本参数时,性能数据默认落盘到应用工程可执行文件所在目录。

    Profiling采集结束后,在该目录下生成PROF开头目录,存放Profiling采集的性能原始数据。支持配置绝对路径或相对路径(相对执行命令行时的当前路径):
    • 绝对路径配置以“/”开头,例如:

      /home/HwHiAiUser/output

    • 相对路径配置直接以目录名开始,例如:output。
    • 该参数指定的目录需要确保安装时配置的运行用户具有读写权限。如果该处设置的目录没有读写权限,默认存放采集结果数据到应用工程可执行文件所在目录(确保安装时配置的运行用户具有该目录的读写权限)。
    • 该参数优先级高于ASCEND_WORK_PATH,具体请参考环境变量参考

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    storage_limit

    指定落盘目录允许存放的最大文件容量。当Profiling数据文件在磁盘中即将占满本参数设置的最大存储空间(剩余空间<=20MB)或剩余磁盘总空间即将被占满时(总空间剩余<=20MB),则将磁盘内最早的文件进行老化删除处理。

    取值范围为[200, 4294967295],单位为MB,例如--storage-limit=200MB,默认未配置本参数。

    未配置本参数时,默认取值为Profiling数据文件存放目录所在磁盘可用空间的90%。

    Atlas 200/300/500 推理产品:不支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    aicpu

    采集AI CPU算子的详细信息,如:算子执行时间、数据拷贝时间等。可选on或off,默认值为off。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    aic_metrics

    AI Core和AI Vector Core采集事件。取值包括:

    说明:
    支持自定义需要采集的寄存器,例如:"aic_metrics":"Custom:0x49,0x8,0x15,0x1b,0x64,0x10"。
    • Custom字段表示自定义类型,配置为具体的寄存器值,取值范围为[0x1, 0x6E]。
    • 配置的寄存器数最多不能超过8个,寄存器通过“,”区分开。
    • 寄存器的值支持十六进制或十进制。

    Atlas 200/300/500 推理产品:支持AI Core采集

    Atlas 200/500 A2推理产品:支持AI Core和AI Vector Core采集

    Atlas 推理系列产品(Ascend 310P处理器):支持AI Core采集

    Atlas 训练系列产品:支持AI Core采集

    Atlas A2训练系列产品:支持AI Core和AI Vector Core采集

    l2

    控制L2 Cache采样数据的开关,可选on或off,默认为off。

    Atlas 200/300/500 推理产品:不支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    hccl

    控制hccl数据采集开关。

    • json文件中配置该参数时,可选配on或off。
    • json文件中未配置该参数时,默认为空,不采集;当task_time设置为on时,该参数联动被设置为on。
      说明:

      此开关后续版本会废弃,请使用task_time开关控制相关数据采集。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    task_time

    控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值:

    • on:开启。默认为on。
    • off:关闭。
    • l0:采集算子下发耗时、算子执行耗时数据。与l1相比,由于不采集算子基本信息数据,采集时性能开销较小,可更精准统计相关耗时数据。
    • l1:采集算子下发耗时、算子执行耗时数据以及算子基本信息数据,提供更全面的性能分析数据,和配置为on的效果一样。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    aiv_metrics

    AI Vector Core性能指标采集项,默认为PipeUtilization,包括ArithmeticUtilization、PipeUtilization、Memory、MemoryL0、ResourceConflictRatio。

    Atlas 200/300/500 推理产品:不支持

    Atlas 200/500 A2推理产品:不支持

    Atlas 推理系列产品(Ascend 310P处理器):不支持

    Atlas 训练系列产品:不支持

    Atlas A2训练系列产品:不支持

    ascendcl

    控制acl性能数据采集的开关,可选on或off,默认为on。

    可采集acl性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    runtime_api

    控制runtime api性能数据采集开关,可选on或off,默认为on。

    可采集runtime-api性能数据,包括Host与Device之间、Device间的同步异步内存复制时延等。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    sys_hardware_mem_freq

    DDR、HBM带宽及内存信息采集频率、LLC的读写带宽数据采集频率以及acc_pmu数据和SOC传输带宽信息采集频率。

    取值范围为[1,100],单位hz。

    Atlas 200/300/500 推理产品:支持采集DDR、LLC

    Atlas 200/500 A2推理产品:支持采集DDR、LLC、acc_pmu数据、SoC传输带宽信息

    Atlas 推理系列产品(Ascend 310P处理器):支持采集DDR、LLC

    Atlas 训练系列产品:支持采集DDR、HBM、LLC

    Atlas A2训练系列产品:支持采集HBM、LLC、acc_pmu数据、SoC传输带宽信息

    llc_profiling

    LLC Profiling采集事件,可以设置为:

    • Atlas 200/300/500 推理产品
      • capacity:采集AI CPU和Control CPU的LLC capacity数据。
      • bandwidth:采集LLC bandwidth。默认值为capacity。
    • Atlas 200/500 A2推理产品
      • read:读事件,三级缓存读速率。
      • write:写事件,三级缓存写速率。默认为read。
    • Atlas 推理系列产品(Ascend 310P处理器)
      • read:读事件,三级缓存读速率。
      • write:写事件,三级缓存写速率。默认为read。
    • Atlas 训练系列产品
      • read:读事件,三级缓存读速率。
      • write:写事件,三级缓存写速率。默认为read。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    sys_io_sampling_freq

    NIC、ROCE采集频率。取值范围为[1,100],单位hz。

    Atlas 200/300/500 推理产品:支持采集NIC

    Atlas 200/500 A2推理产品:支持采集NIC,容器场景参数不生效

    Atlas 推理系列产品(Ascend 310P处理器):不支持该参数

    Atlas 训练系列产品:支持采集NIC和和ROCE

    Atlas A2训练系列产品:支持采集NIC和ROCE

    sys_interconnection_freq

    集合通信带宽数据(HCCS)、PCIe数据采集频率,片间传输带宽信息采集频率。

    取值范围为[1,50],默认值50,单位hz。

    Atlas 200/300/500 推理产品:不支持

    Atlas 200/500 A2推理产品:不支持

    Atlas 推理系列产品(Ascend 310P处理器):支持采集PCIe数据

    Atlas 训练系列产品:支持采集HCCS、PCIe数据

    Atlas A2训练系列产品:支持采集HCCS、PCIe数据、片间传输带宽信息

    dvpp_freq

    DVPP采集频率。

    取值范围为[1,100],单位hz。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持,暂无数据

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    instr_profiling_freq

    AI Core和AI Vector的带宽和延时采集频率,范围[300,30000],单位cycle。

    说明:

    Atlas A2训练系列产品单算子场景支持。

    -

    host_sys

    Host侧性能数据采集开关,取值包括cpu和mem。

    可选其中的一项或多项,选多项时用英文逗号隔开,例如"host_sys": "cpu,mem"。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    host_sys_usage

    采集Host侧系统及所有进程的CPU和内存数据,取值包括cpu和mem。

    可选其中的一项或多项,选多项时用英文逗号隔开,例如"host_sys_usage": "cpu,mem"。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    host_sys_usage_freq

    配置Host侧系统和所有进程CPU、内存数据的采集频率。

    取值范围为[1,50],默认值50,单位hz。

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:支持

    msproftx

    控制msproftx用户和上层框架程序输出性能数据的开关,可选on或off,默认值为off。

    Profiling开启msproftx功能之前,需要在程序内调用msproftx相关接口来开启程序的Profiling数据流的输出,详细操作请参见采集操作

    Atlas 200/300/500 推理产品:支持

    Atlas 200/500 A2推理产品:支持

    Atlas 推理系列产品(Ascend 310P处理器):支持

    Atlas 训练系列产品:支持

    Atlas A2训练系列产品:不支持

    instr_profiling_freq与aicpu、aic_metrics、l2、hccl、task_time、ascendcl、runtime_api互斥,无法同时执行。(Atlas A2训练系列产品

  3. 配置acl.json文件完成后,参考应用软件开发指南 (C&C++)重新编译应用工程、并运行应用工程。

    “output”指定路径下生成Profiling性能原始数据,如图1所示。

    图1 Profiling性能原始数据

    如果acl.json文件之前已经存在,本处仅仅是修改文件内容、添加Profiling相关配置,则不需要重新编译应用工程。

采集数据说明

配置acl.json Profiling参数后请参见性能数据解析与导出(msprof命令)将原始数据文件解析并导出为可视化的timeline和summary文件。

生成的Profiling数据如表2表3所示。

表2 timeline文件介绍

timeline文件名

相关参数

说明

msprof_*.json

所有可生成数据的参数均会在此文件写入数据。

timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见msprof(timeline数据总表)

task_time_*.json

task_time

Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据

step_trace_*.json

-

迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。

hccl_*.json

task_time

hccl

以上参数二选一

HCCL数据。文件详情请参见HCCL集合通信算子数据

ddr_*.json

sys_hardware_mem_freq

DDR内存读写速率。详情请参见DDR内存读写速率数据

hbm_*.json

sys_hardware_mem_freq

HBM内存读写速率。文件详情请参见HBM内存读写速率数据

llc_aicpu_*.json

sys_hardware_mem_freq

llc_profiling

AI CPU的三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。文件详情请参见AI CPU的三级缓存使用量数据

llc_ctrlcpu_*.json

sys_hardware_mem_freq

llc_profiling

Control CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。文件详情请参见Control CPU三级缓存使用量数据

llc_bandwidth_*.json

sys_hardware_mem_freq

llc_profiling

三级缓存带宽,LLC Profiling采集事件设置为bandwidth时才会导出该文件。文件详情请参见三级缓存带宽数据

llc_read_write_*.json

sys_hardware_mem_freq

三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据

acc_pmu_*.json

sys_hardware_mem_freq

加速器带宽及并发数据。文件详情请参见加速器带宽及并发数据

stars_soc_*.json

sys_hardware_mem_freq

SOC传输带宽信息。文件详情请参见SoC传输带宽信息数据

npu_mem_*.json

sys_hardware_mem_freq

NPU内存占用信息。文件详情请参见NPU内存占用数据

nic_*.json

sys_io_sampling_freq

每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据

roce_*.json

sys_io_sampling_freq

RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据

hccs_*.json

sys_interconnection_freq

集合通信带宽数据。文件详情请参见集合通信带宽数据

pcie_*.json

sys_interconnection_freq

PCIe带宽。详情请参见PCIe带宽数据

stars_chip_trans_*.json

sys_interconnection_freq

片间传输带宽信息。文件详情请参见片间传输带宽信息数据

instr_*.json

instr_profiling_freq

AI Core和AI Vector的带宽和延时数据。文件详情请参见AI Core和AI Vector的带宽和延时数据

host_cpu_usage.json

host_sys

Host侧CPU利用率。详情请参见Host侧CPU利用率数据

host_mem_usage.json

host_sys

Host侧内存利用率。详情请参见Host侧内存利用率数据

msproftx数据

msproftx

msproftx数据,通过采集操作采集用户和上层框架程序的性能数据,并由msproftx参数进行数据导出。

注:“*”表示{device_id}_{model_id}_{iter_id}_{timestamp},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID,{timestamp}表示时间戳。

表3 summary文件介绍

summary文件名

相关参数

说明

api_statistic_*.csv

ascendcl(可选)

runtime_api(可选)

hccl(可选)

task_time(可选)

用于统计CANN层的API执行耗时信息。详情请参见API信息统计数据

op_summary_*.csv

task_time

AI Core和AI CPU算子信息。详情请参见AI Core和AI CPU算子数据

op_statistic_*.csv

task_time

AI Core和AI CPU算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core和AI CPU算子调用次数及耗时数据

task_time设置为l0时,不解析该文件数据。

step_trace_*.csv

-

迭代轨迹数据。文件详情请参见迭代轨迹数据。单算子场景下无此性能数据文件。

fusion_op_*.csv

-

模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据。单算子场景下无此性能数据文件。

task_time_*.csv

task_time

Task Scheduler的任务调度信息数据。详情请参见:

aicpu_*.csv

aicpu

AI CPU数据。文件详情请参见AI CPU数据

l2_cache_*.csv

l2

L2 Cache数据。详情请参见L2 Cache数据

hccl_statistic_*.csv

task_time

hccl

以上参数二选一

HCCL集合通信算子统计信息。详情请参见HCCL集合通信算子统计信息

ddr_*.csv

sys_hardware_mem_freq

DDR内存读写速率。详情请参见DDR内存读写速率数据

hbm_*.csv

sys_hardware_mem_freq

HBM内存读写速率,data中包含hbm.开头的文件。详情请参见HBM内存读写速率数据

llc_aicpu_*.csv

sys_hardware_mem_freq

llc_profiling

AI CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。详情请参见AI CPU三级缓存使用量数据

llc_ctrlcpu_*.csv

sys_hardware_mem_freq

llc_profiling

Control CPU三级缓存使用量,LLC Profiling采集事件设置为capacity时才会导出该文件。详情请参见Ctrl CPU三级缓存使用量数据

llc_bandwidth_*.csv

sys_hardware_mem_freq

llc_profiling

三级缓存带宽,LLC Profiling采集事件设置为bandwidth时才会导出该文件。三级缓存带宽数据

llc_read_write_*.csv

sys_hardware_mem_freq

三级缓存读写速率数据。文件详情请参见三级缓存读写速率数据

npu_mem_*.csv

sys_hardware_mem_freq

NPU内存占用信息。文件详情请参见NPU内存占用数据

nic_*.csv

sys_io_sampling_freq

每个时间节点网络信息数据。文件详情请参见每个时间节点网络信息数据

roce_*.csv

sys_io_sampling_freq

RoCE通信接口带宽数据。文件详情请参见RoCE通信接口带宽数据

hccs_*.csv

sys_interconnection_freq

集合通信带宽数据。文件详情请参见集合通信带宽数据

pcie_*.csv

sys_interconnection_freq

PCIe带宽。详情请参见PCIe带宽数据

dvpp_*.csv

dvpp_freq

DVPP数据。文件详情请参见DVPP数据

sys_mem.csv

host_sys_usage

Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据

cpu_usage.csv

host_sys_usage

Host侧系统CPU利用率数据。详情请参见Host侧系统CPU利用率数据

process_cpu_usage.csv

host_sys_usage

Host侧进程CPU利用率数据。详情请参见Host侧进程CPU利用率数据

process_mem.csv

host_sys_usage

Host侧进程内存利用率数据。详情请参见Host侧进程内存利用率数据

host_cpu_usage.csv

host_sys

Host侧CPU利用率。详情请参见Host侧CPU利用率数据

host_mem_usage.csv

host_sys

Host侧内存利用率。详情请参见Host侧内存利用率数据

prof_rule_0.json

-

调优建议。无需指定Profiling参数自动生成,完成后打屏显示结果,详细介绍请参见性能调优建议

注:“*”表示{device_id}_{model_id}_{iter_id}_{timestamp},其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID,{timestamp}表示时间戳。