Profiling开启后没有输出op_summary_*.csv
问题描述
NPU调测场景下,开启Profiling数据采集功能后,没有输出op_summary_*.csv结果件。
可能的原因
由于Kernel执行异常(coreDump等异常退出)导致msprof无法生成结果。
处理方案
- 获取日志文件。
无论命令行或API方式,日志落盘地址由NPU调测参数 > log-file或set_log_file接口指定,缺省为当前操作路径的debug_op.log。请根据实际路径打开日志文件。
- 截取Profiling调测命令,重新执行,根据提示进一步定位。
- 在debug_op.log中找到“msprof”关键字。
- 手动拷贝“--application”后的所有命令,在终端窗口执行,通过打屏或者落盘的日志文件进一步分析问题。
[CONSOLE] ascendc_debug_tool [3626213] 2024-05-21 19:16:06,260 ==================== npu kernel run start ==================== [CONSOLE] ascendc_debug_tool [3626213] 2024-05-21 19:16:06,260 /home/run_pkg/latest/toolkit/tools/profiler/bin/msprof --ai-core=on --ascendcl=on --model-execution=on --runtime-api=on --task-time=on --output=/home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/output --application=/home/run_pkg/latest/toolkit/tools/ascendc_tools/npu_kernel_launch/npu_kernel_launch --kernel /home/ascendebug_smoking_test/op_contrib/data/op-contrib/build_out/binary/${chip_version}/bin/foreach_sigmoid/ForeachSigmoid_0885a6586f8e7f8dc8d03c4dabc73ef4_high_performance.o --name ForeachSigmoid_0885a6586f8e7f8dc8d03c4dabc73ef4_high_performance --json_file /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/data/ForeachSigmoid.json --input_path /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/data --output_path /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/output --tiling_data /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/tiling/tiling_data_tiling_key_1_block_dim_1_workspace_33554432.bin --tiling_key 1 --workspace 33554432 --block_dim 1 --timeout 600 --device 0 --core_type VectorCore --arg_lib /home/ascendebug_smoking_test/op_contrib/api_opcontrib_case/ForeachSigmoid/npu/build/launch_args.so --profiling --loop 10 [INFO] PROFILING(3632899,msprof):2024-05-21-19:16:06.289.460 [platform.cpp:48] >>> (tid:3632899) Profiling platform version: 1.0. [INFO] PROFILING(3632899,msprof):2024-05-21-19:16:06.289.524 [platform.cpp:236] >>> (tid:3632899) Succeeded to DrvGetApiVersion version: 0x72316 [INFO] Start profiling....