准备离线模型dump数据文件
前提条件
请在dump数据前,完成模型对应应用工程的编译、运行,确保工程正常。
dump数据
参考以下步骤进行离线模型dump操作:
- 打开aclInit()函数所在的推理应用工程代码文件,查看调用的aclInit()或aclmdlSetDump()函数,获取acl.json文件路径。
- 在查出的目录下修改acl.json文件(如不存在,则需要新建,建议放在工程编译后的out目录下),添加dump配置,格式如下所示。模型Dump配置示例:
{ "dump":{ "dump_list":[ { "model_name":"ResNet-101" }, { "model_name":"ResNet-50", "layer":[ "conv1conv1_relu", "res2a_branch2ares2a_branch2a_relu", "res2a_branch1", "pool1" ] } ], "dump_path":"/home/HwHiAiUser/output", "dump_mode":"output", "dump_op_switch":"off" } }
单算子Dump配置示例:
{ "dump":{ "dump_path":"output", "dump_list":[], "dump_op_switch":"on" } }
表1 acl.json文件格式说明 配置项
参数说明
备注
dump
-
- 不具有输出的TBE算子、AI CPU算子,如StreamActive、Send、Recv、const等不会生成dump数据;编译后的模型中部分算子并不会在AI CPU或AI Core执行,如concatD类型算子,则无法生成dump数据。
- 采用dump部分算子场景下,因data算子不会在AI CPU或AI Core上执行,如果用户填写dump data节点算子时需要一并填写data节点算子的后继节点,才能dump出data节点算子数据。
dump_list
(必填)待dump数据的整网模型列表。
创建模型dump配置信息,当存在多个模型需要dump时,需要每个模型之间用英文逗号隔开。
在单算子执行场景下,dump_list为空。
-
model_name
模型名称。
- 模型加载方式为文件加载时,填入模型文件的名称,不需要带后缀名;也可以配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
- 模型加载方式为内存加载时,配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
- 各个模型的model_name值须唯一。
- 模型加载支持内存和文件两种加载方式,文件加载且配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值时,如果acl.json文件里model_name配置项值同时包括模型文件名,本处获取的name值,以模型文件名的配置项生效。
layer
算子名。
- 当需要dump指定的部分算子时,按格式配置layer字段,每行配置模型中的一个算子名,且每个算子之间用英文逗号隔开。
- 当需要dump模型的所有算子时,不需要包含layer字段。
在IO性能相对较差的开发板(比如Atlas 200 DK)上,可能会出现由于数据量过大导致执行超时,所以不建议全量dump,请指定算子进行dump。
dump_path
(必填)dump数据文件存储到运行环境的目录。
支持配置绝对路径或相对路径:- 绝对路径配置以“/”开头,例如:/home/HwHiAiUser/output。
- 相对路径配置直接以目录名开始,例如:output。
该参数指定的目录需要提前创建且确保安装时配置的运行用户具有读写权限。
dump_mode
dump数据模式。
- input:dump算子的输入数据。
- output:dump算子的输出数据,默认取值output。
- all:dump算子的输入、输出数据。
-
dump_op_switch
单算子模型dump数据开关。
- on:开启单算子模型dump。
- off:关闭单算子模型dump,默认取值off。
-
dump_step
指定采集哪些迭代的Dump数据。推理场景无需配置。
不配置该参数,默认所有迭代都会产生dump数据,数据量比较大,建议按需指定迭代。
多个迭代用“|”分割,例如:0|5|10;也可以用"-"指定迭代范围,例如:0|3-5|10。
配置示例:
{ "dump":{ "dump_list":[ ...... ], "dump_path":"/home/HwHiAiUser/output", "dump_mode":"output", "dump_op_switch":"off" "dump_step": "0|3-5|10" } }
-
- 运行应用工程,生成dump数据文件。
工程运行完毕后,可以在运行环境查看到生成的dump数据文件。生成的路径及格式说明:
{dump_path}/{time}/{deviceid}/{model_name}/{model_id}/{data_index}/{dump文件} 单算子模型dump时为{dump_path}/{time}/{deviceid}/{dump文件}
表2 dump数据文件路径说明 路径key
说明
备注
dump_path
acl.json中配置的dump数据文件存储目录。
-
time
dump数据文件落盘的时间。
格式为:YYYYMMDDHHMMSS
deviceid
Device设备ID号。
-
model_name
模型名称。
如果model_name出现了“.”、“/”、“\”、空格时,转换为下划线表示。
model_id
模型ID号。
-
data_index
针对每个Task ID执行的次数维护一个序号,从0开始计数,该Task每dump一次数据,序号递增1。
-