aclmdlSetDump

函数功能

设置Dump参数。

aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用，用于将Dump数据记录到文件中。一个进程内，可以根据需求多次调用这些接口，基于不同的Dump配置信息，获取Dump数据。场景举例如下：

约束说明

函数原型

aclError aclmdlSetDump(const char *dumpCfgPath)

参数说明

参数名

输入/输出

说明

dumpCfgPath

输入

配置文件路径的指针，包含文件名。配置文件格式为json格式。

当前支持以下Dump信息配置：
  • 模型Dump配置（用于导出模型中每一层算子输入和输出数据）、单算子Dump配置（用于导出单个算子的输入和输出数据），导出的数据用于与指定模型或算子进行比对，定位精度问题，配置示例、说明及约束请参见配置文件示例（模型Dump配置、单算子Dump配置）。默认不启用该dump配置。
  • 异常算子Dump配置（用于导出异常算子的输入输出数据、workspace信息），导出的数据用于分析AI Core Error问题，配置示例请参见配置文件示例（异常算子Dump配置）。默认不启用该dump配置。
  • 溢出算子Dump配置（用于导出模型中溢出算子的输入和输出数据），导出的数据用于分析溢出原因，定位模型精度的问题，配置示例、说明及约束请参见配置文件示例（溢出算子Dump配置）。默认不启用该dump配置。

配置文件示例（模型Dump配置、单算子Dump配置）

约束说明：在训练场景下，若通过本接口的dump_step参数指定采集哪些迭代的Dump数据，同时配置了其它采集指定迭代Dump数据的session参数，则以最后配置的参数为准。

模型Dump配置示例如下：

{                                                                                            
	"dump":{
		"dump_list":[                                                                        
			{	"model_name":"ResNet-101"
			},
			{                                                                                
				"model_name":"ResNet-50",
				"layer":[
				      "conv1conv1_relu",
				      "res2a_branch2ares2a_branch2a_relu",
				      "res2a_branch1",
				      "pool1"
				] 
			}  
		],  
		"dump_path":"/home/HwHiAiUser/output",
                "dump_mode":"output",
		"dump_op_switch":"off"
	}                                                                                        
}

单算子Dump配置示例如下：

{
    "dump":{
        "dump_path":"output",
        "dump_list":[], 
	"dump_op_switch":"on"
    }
}
表1 acl.json文件格式说明

配置项

参数说明

备注

dump

-
  • 不具有输出的TBE算子、AI CPU算子，如StreamActive、Send、Recv、const等不会生成dump数据；编译后的模型中部分算子并不会在AI CPU或AI Core执行，如concatD类型算子，则无法生成dump数据。
  • 采用dump部分算子场景下，因data算子不会在AI CPU或AI Core上执行，如果用户填写dump data节点算子时需要一并填写data节点算子的后继节点，才能dump出data节点算子数据。

dump_list

（必填）待dump数据的整网模型列表。

创建模型dump配置信息，当存在多个模型需要dump时，需要每个模型之间用英文逗号隔开。

在单算子执行场景下，dump_list为空。

-

model_name

模型名称。

  • 模型加载方式为文件加载时，填入模型文件的名称，不需要带后缀名；也可以配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
  • 模型加载方式为内存加载时，配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
  • 各个模型的model_name值须唯一。
  • 模型加载支持内存和文件两种加载方式，文件加载且配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值时，如果acl.json文件里model_name配置项值同时包括模型文件名，本处获取的name值，以模型文件名的配置项生效。

layer

算子名。

  • 当需要dump指定的部分算子时，按格式配置layer字段，每行配置模型中的一个算子名，且每个算子之间用英文逗号隔开。
  • 当需要dump模型的所有算子时，不需要包含layer字段。

在IO性能相对较差的开发板（比如Atlas 200 DK）上，可能会出现由于数据量过大导致执行超时，所以不建议全量dump，请指定算子进行dump。

dump_path

（必填）dump数据文件存储到运行环境的目录。

支持配置绝对路径或相对路径：
  • 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
  • 相对路径配置直接以目录名开始，例如：output。

该参数指定的目录需要提前创建且确保安装时配置的运行用户具有读写权限。

dump_mode

dump数据模式。

  • input：dump算子的输入数据。
  • output：dump算子的输出数据，默认取值output。
  • all：dump算子的输入、输出数据。

-

dump_op_switch

单算子模型dump数据开关。

  • on：开启单算子模型dump。
  • off：关闭单算子模型dump，默认取值off。

-

dump_step

指定采集哪些迭代的Dump数据。推理场景无需配置。

不配置该参数，默认所有迭代都会产生dump数据，数据量比较大，建议按需指定迭代。

多个迭代用“|”分割，例如：0|5|10；也可以用"-"指定迭代范围，例如：0|3-5|10。

配置示例：

{                                                                                            
	"dump":{
		"dump_list":[                                                                        
			...... 
		],  
		"dump_path":"/home/HwHiAiUser/output",
                "dump_mode":"output",
		"dump_op_switch":"off"
                "dump_step": "0|3-5|10"
	}                                                                                        
}

-

配置文件示例（异常算子Dump配置）

将dump_scene参数设置为lite_exception，启用异常算子Dump功能，同时可配合使用ASCEND_WORK_PATH环境变量配置落盘路径，否则落盘在应用程序的当前执行目录下。注意，异常算子Dump配置，不能与模型Dump配置或单算子Dump配置同时开启，否则模型Dump或单算子Dump不生效。

配置文件中的示例内容如下：

{
   "dump":{
           "dump_scene":"lite_exception"
    }
}

配置文件示例（溢出算子Dump配置）

溢出算子Dump配置的相关约束说明如下：
  • 将dump_debug配置为on表示开启溢出算子配置，不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。
  • 若开启溢出算子配置，则dump_path必须配置，表示导出数据文件的存储路径。
    支持配置绝对路径或相对路径：
    • 绝对路径配置以“/”开头，例如：/home。
    • 相对路径配置直接以目录名开始，例如：output。

    获取导出的数据文件后，如何解析请参见溢出算子数据采集及分析。

  • 溢出算子Dump配置，不能与模型Dump配置或单算子Dump配置同时开启，否则会返回报错。
  • 当前不支持单算子API执行场景下的溢出算子Dump。
配置文件中的示例内容如下： 
{
    "dump":{
        "dump_path":"output",
        "dump_debug":"on"
    }
}

返回值说明

返回0表示成功，返回其它值表示失败。

相关接口

AscendCL还提供了aclInit接口，在AscendCL初始化阶段，通过*.json文件传入Dump配置信息，运行应用后获取Dump数据的方式。该种方式，一个进程内，只能调用一次aclInit接口，如果要修改Dump配置信息，需修改*.json文件中的配置。

父主题： 模型执行