如何进行npy文件转dump文件

获取到npy数据文件后，将npy文件传到昇腾AI处理器的开发环境上，然后通过dump_data_conversion.py脚本进行数据转换，输出二进制格式的dump文件。命令行格式如下：

python3 dump_data_conversion.py -type TYPE -target TARGET -i INPUT_PATH -o OUTPUT_PATH

npy数据文件转二进制格式的dump文件命令举例：

python3 dump_data_conversion.py -type tf -target dump -i /home/HwHiAiUser/tfnpyfile -o /home/HwHiAiUser/tfdump

• -type：数据类型，参数值选项：tf或offline。必选参数 。
  • tf：基于GPU/CPU运行生成的dump数据。
  • offline：基于昇腾AI处理器运行生成的dump数据。
• -target：数据转换目标格式，参考值选项：numpy和dump。必选参数 。
  • numpy：dump文件转换为numpy文件。
  • dump：numpy文件转换为dump文件。
• -i：数据文件路径（可以是文件夹或者文件），必选参数 。
  • numpy文件转dump文件：

    如果“i”参数输入是文件夹，则格式要求如下：文件夹下的文件必须是op_name.output_index.timestamp.npy 形式文件。

    如果“i”输入参数是文件名，则输入的文件名需满足“op_name.output_index.timestamp.npy ”格式要求。每次仅支持输入1个文件。

    其中op_name对应的名称需满足“A-Za-z0-9_-”正则表达式规则，output_index为0~9数字组成，timestamp为16位时间戳。

  • dump文件转numpy文件：

    如果“i”参数输入是文件夹，则格式要求如下：文件夹下的文件必须是op_type.op_name.taskid.timestamp（网络模型）或op_name.output_index.timestamp.pb（TensorFlow模型）形式文件。

    如果“i”输入参数是文件名，则输入的文件名需满足op_type.op_name.taskid.timestamp（网络模型）或op_name.output_index.timestamp.pb（TensorFlow模型）格式要求。每次仅支持输入1个文件。

    其中op_type、op_name对应的名称需满足“A-Za-z0-9_-”正则表达式规则，taskid、output_index为0~9数字组成，timestamp为16位时间戳。

• -o：转换后输出文件路径。必选参数。

dump_data_conversion.py脚本存放在/home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/operator_cmp/compare路径下。

使用该脚本进行数据转换，确保主机内存大小不低于15GB；如果待转换的dump数据单个文件大小超过441MB，则建议使用更大内存主机。