|
产品 |
是否支持 |
|---|---|
|
|
√ |
|
|
√ |
|
|
√ |
|
|
√ |
|
|
√ |
|
|
√ |
初始化函数。
使用acl接口开发应用时,必须先调用aclInit接口,否则可能会导致后续系统内部资源初始化出错,进而导致其他业务异常。
1
|
aclError aclInit(const char *configPath) |
|
参数名 |
输入/输出 |
说明 |
|---|---|---|
|
configPath |
输入 |
配置文件所在路径(包含文件名)的指针。配置文件内容为json格式(json文件内的“{”的层级最多为10,“[”的层级最多为10)。 初始化时,可通过该配置文件配置开启Dump、配置Profiling采集信息等功能,详细描述请参见下文各功能配置示例中的描述。如果默认配置已满足需求,无需修改,可向aclInit接口中传入NULL,或者可将配置文件配置为空json串(即配置文件中只有{})。 |
返回0表示成功,返回其他值表示失败,请参见aclError。
aclInit-->业务处理-->aclFinalize-->aclInit-->业务处理-->aclFinalize
该场景下,如果调用多次aclInit接口后,再去初始化,仅需调用一次aclFinalize接口,将aclInit接口的引用计数直接清零。
因为aclFinalizeReference接口内部涉及引用计数的实现,aclInit接口每被调用一次,则引用计数加一,aclFinalizeReference接口每被调用一次,则该引用计数减一,当引用计数减到0时,才会真正去初始化。
支持重复初始化、去初始化,时序上支持顺序调用,也支持并发调用,接口调用时序如下:
模型Dump配置(用于导出模型中每一层算子输入和输出数据)、单算子Dump配置(用于导出单个算子的输入和输出数据),导出的数据用于与指定模型或算子进行比对,定位精度问题,具体比对方法请参见《精度调试工具》。默认不启用该Dump配置。
通过本接口启用Dump配置,需通过dump_path参数配置保存Dump数据的路径。详细参数解释请参见《精度调试工具》中的“准备离线模型dump数据文件”。
模型Dump配置示例如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
{ "dump":{ "dump_list":[ { "model_name":"ResNet-101" }, { "model_name":"ResNet-50", "layer":[ "conv1conv1_relu", "res2a_branch2ares2a_branch2a_relu", "res2a_branch1", "pool1" ] } ], "dump_path":"/home/output", "dump_mode":"output", "dump_op_switch":"off", "dump_data":"tensor" } } |
单算子调用场景下,Dump配置示例如下:
1 2 3 4 5 6 7 8 |
{ "dump":{ "dump_path":"/home/output", "dump_list":[{}], "dump_op_switch":"on", "dump_data":"tensor" } } |
异常算子Dump配置,用于导出异常算子的输入输出数据、workspace信息、Tiling信息等。导出的数据用于分析AI Core Error问题,默认不启用该Dump配置。
关于AI Core Error问题的信息收集及定位,详细说明请参见《故障处理》中的“典型故障专题 > AI Core Error问题定位专题”。
通过配置dump_scene参数值开启异常算子Dump功能,配置文件中的示例内容如下,表示开启轻量化的exception dump:
{
"dump":{
"dump_path":"output",
"dump_scene":"aic_err_brief_dump"
}
}
详细配置说明及约束如下:
您可以单击Link,在“固件与驱动”页面下载Ascend HDK 25.0.RC1或更高版本的驱动安装包,并参考相应版本的文档进行安装、升级。
dump文件存储路径的优先级如下:NPU_COLLECT_PATH环境变量 > ASCEND_WORK_PATH环境变量 > 配置文件中的dump_path > 应用程序的当前执行目录,环境变量的详细描述请参见《环境变量参考》。
若将dump_scene参数设置为aic_err_detail_dump时,需使用msDebug工具查看导出的dump文件内容,详细方法请参见《算子开发工具》。
溢出算子Dump配置,用于导出模型中溢出算子的输入和输出数据。导出的数据用于分析溢出原因,定位模型精度的问题。默认不启用该Dump配置。
{
"dump":{
"dump_path":"output",
"dump_debug":"on"
}
}
获取导出的数据文件后,文件的解析请参见《精度调试工具》中的“溢出算子数据采集与解析”章节。
算子Dump Watch模式配置,用于开启指定算子输出数据的观察模式。在定位部分算子精度问题且已排除算子本身的计算问题后,若怀疑被其他算子踩踏内存导致精度问题,可开启Dump Watch模式。默认不开启Dump Watch模式。
将dump_scene参数设置为watcher,开启算子Dump Watch模式,配置文件中的示例内容如下,配置效果为:(1)当执行完A算子、B算子时,会把C算子和D算子的输出Dump出来;(2)当执行完C算子、D算子时,也会把C算子和D算子的输出Dump出来。将(1)、(2)中的C算子、D算子的Dump文件进行比较,用于排查A算子、B算子是否会踩踏C算子、D算子的输出内存。
{
"dump":{
"dump_list":[
{
"layer":["A", "B"],
"watcher_nodes":["C", "D"]
}
],
"dump_path":"/home/",
"dump_mode":"output",
"dump_level":"op",
"dump_scene":"watcher"
}
}
详细配置说明及约束如下:
此处收集的dump文件无法通过文本工具直接查看其内容,若需查看dump文件内容,先将dump文件转换为numpy格式文件后,再通过Python查看numpy格式文件,详细转换步骤请参见《精度调试工具》中的“查看dump数据文件”章节。
默认配置下,dump数据文件会比较多,例如有一些aclnn开头的dump文件,若用户对dump性能有要求或内存资源有限时,则可以将该参数设置为op级别,以便提升dump性能、精简dump数据文件数量。
说明:算子是一个运算逻辑的表示(如加减乘除运算),kernel是运算逻辑真正进行计算处理的实现,需要分配具体的计算设备完成计算。
算子Kernel调测信息Dump配置,用于导出Ascend C算子Kernel的调测信息,便于定位算子问题。默认不启用该Dump配置。
仅如下型号支持该配置:
配置dump_kernel_data参数开启算子Kernel调测信息Dump功能,配置文件中的示例如下:
{
"dump":{
"dump_kernel_data":"printf,assert",
"dump_path":"/home/"
}
}
详细配置说明及约束如下:
Dump文件存储路径的优先级如下:ASCEND_DUMP_PATH环境变量 > ASCEND_WORK_PATH环境变量 > 配置文件中的dump_path,环境变量的详细描述请参见《环境变量参考》。
导出的Dump文件无法通过文本工具直接查看其内容,若需查看,需使用show_kernel_debug_data工具将调测信息解析为可读格式,工具使用指导请参见《Ascend C算子开发》中的”“show_kernel_debug_data工具”。
Profiling采集信息配置,配置示例、说明及约束请参见《性能调优工具》中的“使用acl.json配置文件采集性能数据”。默认不启用Profiling采集信息配置。
建议不要同时配置Dump信息和Profiling采集信息,否则Dump操作会影响系统性能,导致Profiling采集的性能数据指标不准确。
算子缓存信息老化配置,通过单算子模型方式执行单个算子时(aclopUpdateParams接口执行单算子除外),为节约内存和平衡调用性能,可通过max_opqueue_num参数配置“算子类型-单算子模型”映射队列的最大长度,如果长度达到最大,则会先删除长期未使用的映射信息以及缓存中的单算子模型,再加载最新的映射信息以及对应的单算子模型。如果不配置映射队列的最大长度,则默认最大长度为20000。
单算子模型执行是指基于图IR执行算子,先编译算子(例如,使用ATC工具将Ascend IR定义的单算子描述文件编译成算子om模型文件),再调用acl接口加载算子模型(例如aclopSetModelDir接口),最后调用acl接口执行算子(例如aclopExecuteV2接口)。
通过max_opqueue_num参数配置“算子类型-单算子模型”映射队列的最大长度,实现算子缓存信息老化,配置文件中的示例内容如下:
{
"max_opqueue_num": "10000"
}
相关配置说明及约束如下:
如果用户调用aclopCompile接口编译算子、调用aclopExecuteV2接口执行算子,则在编译算子后需及时执行算子,否则可能导致执行算子时,算子信息已被老化,需要重新编译。建议调用aclopCompileAndExecuteV2接口编译执行算子。
错误信息上报模式配置,用于控制aclGetRecentErrMsg接口按进程或线程级别获取错误信息,默认按线程级别。
err_msg_mode参数取值范围:0为默认值,表示按线程级别获取错误信息;1表示按进程级别获取错误信息。
配置文件中的示例内容如下:
{
"err_msg_mode": "1"
}
默认Device配置(用于配置默认的计算设备)。若同时通过aclrtSetDevice接口指定Device,则aclrtSetDevice接口优先级高。如果用户开启默认Device功能后,若需要显式创建Context,则需要调用aclrtSetDevice,否则可能会导致业务异常。
default_device参数处设置Device ID,Device ID可设置为0或十进制正整数,用户可调用aclrtGetDeviceCount接口获取可用的Device数量后,这个Device ID的取值范围:[0, (可用的Device数量-1)]。
配置文件中的示例内容如下:
{
"defaultDevice":{
"default_device":"0"
}
}
AI Core栈空间大小配置,用于控制进程中Kernel执行时为每个AI Core分配的栈空间大小,默认为32K字节。
aicore_stack_size参数处设置栈空间大小,单位Byte,取值有以下要求:
在
在
在
在
配置文件中的示例内容如下:
{
"StackSize":{
"aicore_stack_size":32768
}
}
SIMT(Single Instruction Multiple Thread)栈空间大小配置,用于控制每个线程中SIMT算子的栈空间大小以及SIMT算子的分支(Divergence)栈空间大小,单位Byte。
仅
simt_stack_size参数处设置SIMT算子每个线程的栈空间大小,单位Byte。
simt_divergence_stack_size参数处设置SIMT算子的分支(Divergence)栈空间大小,单位Byte。
simt_stack_size和simt_divergence_stack_size的取值都必须是128的整数倍,如果传入的不是128的整数倍,则接口内部会自动向上取整,确保其为128的整数倍。
配置文件中的示例内容如下:
{
"StackSize": {
"simt_stack_size": 1024,
"simt_divergence_stack_size": 512
}
}
SIMT(Single Instruction Multiple Thread)Printf维测空间大小配置,用于控制SIMT算子可以Printf打印的空间大小,单位Byte。
仅
simt_printf_fifo_size参数处设置SIMT算子Printf维测空间大小,单位Byte。其取值都必须是8的整数倍,如果传入的不是8的整数倍,则接口内部会自动向上取整,确保其为8的整数倍。
simt_printf_fifo_size配置默认值2MB,最小值是1MB,最大值64MB。
配置文件中的示例内容如下:
{
"simt_printf_fifo_size": 1048576
}
SIMD(Single Instruction Multiple Data)Printf维测空间大小配置,用于控制每个Core上SIMD算子可以Printf打印的空间大小,单位Byte。
仅
simd_printf_fifo_size_per_core参数处设置SIMD算子Printf维测空间大小,单位Byte。其取值都必须是8的整数倍,如果传入的不是8的整数倍,则接口内部会自动向上取整,确保其为8的整数倍。
simd_printf_fifo_size_per_core配置默认值32KB,最小值是1KB,最大值64MB。
配置文件中的示例内容如下:
{
"simd_printf_fifo_size_per_core": 1048576
}
接口调用示例,参见初始化。
当前还提供了其他启用Dump或Profiling的接口,如下,与aclInit不同的是,以下这些接口相对灵活,可以在一个进程内调用多次接口,每次调用接口时可以基于不同的Dump配置或Profiling配置。