aclmdlSetDump

产品支持情况

功能说明

设置Dump参数。

函数原型

1

aclError aclmdlSetDump(const char *dumpCfgPath)

参数说明

返回值说明

返回0表示成功，返回其他值表示失败，请参见aclError。

约束说明

• 只有在调用本接口开启Dump之后加载模型，配置的Dump信息有效。在调用本接口之前已经加载的模型不受影响，除非用户在调用本接口后重新加载该模型。

  例如以下接口调用顺序中，加载的模型1不受影响，配置的Dump信息仅对加载的模型2有效：

  aclmdlInitDump接口-->模型1加载-->aclmdlSetDump接口-->模型2加载-->aclmdlFinalizeDump接口

• 多次调用本接口对同一个模型配置了Dump信息，系统内处理时会采用覆盖策略。

  例如以下接口调用顺序中，第二次调用本接口配置的Dump信息会覆盖第一次配置的Dump信息：

  aclmdlInitDump接口-->aclmdlSetDump接口-->aclmdlSetDump接口-->模型1加载-->aclmdlFinalizeDump接口

模型Dump配置、单算子Dump配置

模型Dump配置（用于导出模型中每一层算子输入和输出数据）、单算子Dump配置（用于导出单个算子的输入和输出数据），导出的数据用于与指定模型或算子进行比对，定位精度问题，具体比对方法请参见《精度调试工具》。默认不启用该Dump配置。

通过本接口启用Dump配置，需通过dump_path参数配置保存Dump数据的路径。详细参数解释请参见《精度调试工具》中的“准备离线模型dump数据文件”。

模型Dump配置示例如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

{                                                                                            
	"dump":{
		"dump_list":[                                                                        
			{	"model_name":"ResNet-101"
			},
			{                                                                                
				"model_name":"ResNet-50",
				"layer":[
				      "conv1conv1_relu",
				      "res2a_branch2ares2a_branch2a_relu",
				      "res2a_branch1",
				      "pool1"
				] 
			}  
		],  
		"dump_path":"/home/output",
                "dump_mode":"output",
		"dump_op_switch":"off",
                "dump_data":"tensor"
	}                                                                                        
}

单算子调用场景下，Dump配置示例如下：

1
2
3
4
5
6
7
8

{
    "dump":{
        "dump_path":"/home/output",
        "dump_list":[{}], 
	"dump_op_switch":"on",
        "dump_data":"tensor"
    }
}

配置文件示例（异常算子Dump配置）

异常算子Dump配置（用于导出异常算子的输入输出数据、workspace信息、Tiling信息），导出的数据用于分析AI Core Error问题。默认不启用该Dump配置

通过配置dump_scene参数值开启异常算子Dump功能，配置文件中的示例内容如下，表示开启轻量化的exception dump：

{
    "dump":{
        "dump_path":"output",
        "dump_scene":"aic_err_brief_dump"
    }
}

详细配置说明及约束如下：

• dump_scene参数支持如下取值：
  • aic_err_brief_dump：表示轻量化exception dump，用于导出AI Core错误算子的输入&输出、workspace数据。
  • aic_err_norm_dump：表示普通exception dump，在轻量化exception dump基础上，还会导出Shape、Data Type、Format以及属性信息。
  • aic_err_detail_dump：在轻量化exception dump基础上，还会导出AI Core的内部存储、寄存器以及调用栈信息。

    配置该选项时，有以下注意事项：

    • 该选项仅支持以下型号，且需配套25.0.RC1或更高版本的驱动才可以使用：

      Atlas A2 训练系列产品 / Atlas A2 推理系列产品

      Atlas A3 训练系列产品 / Atlas A3 推理系列产品

      您可以单击Link，在“固件与驱动”页面下载Ascend HDK 25.0.RC1或更高版本的驱动安装包，并参考相应版本的文档进行安装、升级。

    • 若设置aic_err_detail_dump选项，则需在aclrtSetDevice接口之前调用本接口，且通过aclmdlFinalizeDump接口无法实现Dump去初始化。
    • 导出dump文件过程中，会暂停问题算子所在的AI Core，因此可能会影响Device上其它业务进程的正常执行，导出dump文件后，会自行恢复AI Core。
    • 导出dump文件后，会强制退出Host侧用户业务进程，强制退出过程中的报错可不作为AI Core问题分析的输入。
    • 如果多个Host侧用户业务进程指定同一个Device、且都配置了aic_err_detail_dump选项，则先执行的进程按aic_err_detail_dump选项导出dump文件，后执行的进程按照aic_err_brief_dump选项导出dump文件。
  • lite_exception：表示轻量化exception dump，为了兼容旧版本，效果等同于aic_err_brief_dump。
• dump_path是可选参数，表示导出dump文件的存储路径。

  dump文件存储路径的优先级如下：NPU_COLLECT_PATH环境变量 > ASCEND_WORK_PATH环境变量 > 配置文件中的dump_path > 应用程序的当前执行目录

  环境变量的详细描述请参见《环境变量参考》。

• 若需查看导出的dump文件内容，请参见《故障处理》中的“解析Dump文件”章节。

  若将dump_scene参数设置为aic_err_detail_dump时，需使用msDebug工具查看导出的dump文件内容，详细方法请参见《算子开发工具》。

• 异常算子Dump配置，不能与模型Dump配置或单算子Dump配置同时开启。

溢出算子Dump配置

溢出算子Dump配置，用于导出模型中溢出算子的输入和输出数据。导出的数据用于分析溢出原因，定位模型精度的问题。默认不启用该Dump配置。

{
    "dump":{
        "dump_path":"output",
        "dump_debug":"on"
    }
}

算子Dump Watch模式配置

算子Dump Watch模式配置，用于开启指定算子输出数据的观察模式。在定位部分算子精度问题且已排除算子本身的计算问题后，若怀疑被其它算子踩踏内存导致精度问题，可开启Dump Watch模式。默认不开启Dump Watch模式。

将dump_scene参数设置为watcher，开启算子Dump Watch模式，配置文件中的示例内容如下，配置效果为：（1）当执行完A算子、B算子时，会把C算子和D算子的输出Dump出来；（2）当执行完C算子、D算子时，也会把C算子和D算子的输出Dump出来。将（1）、（2）中的C算子、D算子的Dump文件进行比较，用于排查A算子、B算子是否会踩踏C算子、D算子的输出内存。

{
    "dump":{
        "dump_list":[
            {
                "layer":["A", "B"],
                "watcher_nodes":["C", "D"]
            }
        ],
        "dump_path":"/home/",
        "dump_mode":"output",
        "dump_level":"op",
        "dump_scene":"watcher"
    }
}

详细配置说明及约束如下：

• Dump Watch模式在单算子API Dump场景下不生效。
• 若开启算子Dump Watch模式，则不支持同时开启溢出算子Dump（配置dump_debug参数）或开启单算子模型Dump（配置dump_op_switch参数），否则报错。
• 在dump_list中，通过layer参数配置可能踩踏其它算子内存的算子名称，通过watcher_nodes参数配置可能被其它算子踩踏输出内存导致精度有问题的算子名称。
  • 若不指定layer，则模型内所有支持Dump的算子在执行后，都会将watcher_nodes中配置的算子的输出Dump出来。
  • layer和watcher_nodes处配置的算子都必须是静态图、静态子图中的算子，否则不生效。
  • 若layer和watcher_nodes处配置的算子名称相同，或者layer处配置的是集合通信类算子（算子类型以Hcom开头，例如HcomAllReduce），则只导出watcher_nodes中所配置算子的dump文件。
  • 对于融合算子，watcher_nodes处配置的算子名称必须是融合后的算子名称，若配置融合前的算子名称，则不导出dump文件。
  • dump_list内暂不支持配置model_name。
• 开启算子Dump Watch模式，则dump_path必须配置，表示导出dump文件的存储路径。

  此处收集的dump文件无法通过文本工具直接查看其内容，若需查看dump文件内容，先将dump文件转换为numpy格式文件后，再通过Python查看numpy格式文件，详细转换步骤请参见《精度调试工具》中的“查看dump数据文件”章节。

  dump_path支持配置绝对路径或相对路径：

  • 绝对路径配置以“/”开头，例如：/home。
  • 相对路径配置直接以目录名开始，例如：output。
• 通过dump_mode参数控制导出watcher_nodes中所配置算子的哪部分数据，当前仅支持配置为output。
• 通过dump_level设置dump数据级别，取值：
  • op：按算子级别dump数据。
  • kernel：按kernel级别dump数据。
  • all：默认值，op和kernel级别的数据都dump。

  默认配置下，dump数据文件会比较多，例如有一些aclnn开头的dump文件，若用户对dump性能有要求或内存资源有限时，则可以将该参数设置为op级别，以便提升dump性能、精简dump数据文件数量。

  说明：算子是一个运算逻辑的表示（如加减乘除运算），kernel是运算逻辑真正进行计算处理的实现，需要分配具体的计算设备完成计算。

算子Kernel调测信息Dump配置

算子Kernel调测信息Dump配置，用于导出Ascend C算子Kernel的调测信息，便于定位算子问题。默认不启用该Dump配置。

仅如下型号支持该配置：

Atlas 350 加速卡

Atlas A3 训练系列产品 / Atlas A3 推理系列产品

Atlas A2 训练系列产品 / Atlas A2 推理系列产品

Atlas 200I/500 A2 推理产品

Atlas 推理系列产品

配置dump_kernel_data参数开启算子Kernel调测信息Dump功能，配置文件中的示例如下：

{
    "dump":{
        "dump_kernel_data":"printf,assert",
        "dump_path":"/home/"
    }
}

详细配置说明及约束如下：

• dump_kernel_data：指定导出数据的类型，支持配置多个类型，用英文逗号隔开。如果未配置该字段，但启用了模型Dump配置、单算子Dump配置，则默认按all导出调测信息。
  当前支持如下类型：

  • all：导出以下所有类型调测的输出数据。
  • printf：导出通过AscendC::printf调测的输出数据。
  • tensor：导出通过AscendC::DumpTensor调测的输出数据。
  • assert：导出通过assert/ascendc_assert调测的输出数据。
  • timestamp：导出通过AscendC::PrintTimeStamp调测的输出数据。

• dump_path：启用算子Kernel调测信息Dump功能时，dump_path必须配置，表示导出Dump文件的存储路径，支持配置绝对路径或相对路径。

  Dump文件存储路径的优先级如下：ASCEND_DUMP_PATH环境变量 > ASCEND_WORK_PATH环境变量 > 配置文件中的dump_path，环境变量的详细描述请参见《环境变量参考》。

  导出的Dump文件无法通过文本工具直接查看其内容，若需查看，需使用show_kernel_debug_data工具将调测信息解析为可读格式，工具使用指导请参见《Ascend C算子开发》中的”“show_kernel_debug_data工具”。

参考资源

当前还提供了aclInit接口，在初始化阶段，通过*.json文件传入Dump配置信息，运行应用后获取Dump数据的方式。该种方式，一个进程内，只能调用一次aclInit接口，如果要修改Dump配置信息，需修改*.json文件中的配置。