昇腾社区首页
中文
注册

Profiling开启后没有输出op_summary_*.csv

问题描述

NPU调测场景下,开启Profiling数据采集功能后,没有输出op_summary_*.csv结果件。

可能的原因

由于Kernel执行异常(coreDump等异常退出)导致msprof无法生成结果。

处理方案

  1. 获取日志文件。

    无论命令行或API方式,日志落盘地址由NPU调测参数 > log-fileset_log_file接口指定,缺省为当前操作路径的debug_op.log。请根据实际路径打开日志文件。

  2. 截取Profiling调测命令,重新执行,根据提示进一步定位。
    1. 在debug_op.log中找到“msprof”关键字。
    2. 手动拷贝“--application”后的所有命令,在终端窗口执行,通过打屏或者落盘的日志文件进一步分析问题。

      执行命令之前,请确保当前终端环境变量设置并生效。

      [CONSOLE] ascendc_debug_tool [3626213] 2024-05-21 19:16:06,260 ==================== npu kernel run start ====================
      [CONSOLE] ascendc_debug_tool [3626213] 2024-05-21 19:16:06,260 /home/run_pkg/latest/toolkit/tools/profiler/bin/msprof --ai-core=on --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --output=/home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/output --application=/home/run_pkg/latest/toolkit/tools/ascendc_tools/npu_kernel_launch/npu_kernel_launch --kernel /home/ascendebug_smoking_test/op_contrib/data/op-contrib/build_out/binary/${chip_version}/bin/foreach_sigmoid/ForeachSigmoid_0885a6586f8e7f8dc8d03c4dabc73ef4_high_performance.o --name ForeachSigmoid_0885a6586f8e7f8dc8d03c4dabc73ef4_high_performance --json_file /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/data/ForeachSigmoid.json --input_path /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/data --output_path /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/output --tiling_data /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/tiling/tiling_data_tiling_key_1_block_dim_1_workspace_33554432.bin --tiling_key 1 --workspace 33554432 --block_dim 1 --timeout 600 --device 0 --core_type VectorCore --arg_lib /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/build/launch_args.so --profiling --loop 10
      [INFO] PROFILING(3632899,msprof):2024-05-21-19:16:06.289.460 [platform.cpp:48] >>> (tid:3632899) Profiling platform version: 1.0.
      [INFO] PROFILING(3632899,msprof):2024-05-21-19:16:06.289.524 [platform.cpp:236] >>> (tid:3632899) Succeeded to DrvGetApiVersion version: 0x72316
      [INFO] Start profiling....