该样例主要是基于Caffe ResNet-50网络(单输入、单Batch)实现图片分类的功能。
根据运行应用的入参,该样例可实现以下功能:
主要接口如表1所示。
功能 |
对应pyACL模块 |
pyACL 接口函数 |
功能说明 |
---|---|---|---|
资源初始化 |
初始化 |
acl.init |
初始化pyACL配置。 |
Device管理 |
acl.rt.set_device |
指定用于运算的Device。 |
|
Context管理 |
acl.rt.create_context |
创建Context。 |
|
Stream管理 |
acl.rt.create_stream |
创建Stream。 |
|
公共接口 |
acl.get_data_buffer_addr |
获取aclDataBuffer类型中的数据的内存地址。 |
|
公共接口 |
acl.get_data_buffer_size_v2 |
获取aclDataBuffer类型中数据的内存大小,单位Byte。 |
|
Context管理 |
acl.rt.set_context |
设置线程的Context。 |
|
模型初始化 |
模型加载与执行 |
acl.mdl.load_from_file |
从*.om文件加载模型到device侧。 |
数据类型及操作接口 |
acl.mdl.create_desc |
创建模型描述数据类型。 |
|
数据类型及操作接口 |
acl.mdl.get_desc |
获取模型描述数据类型。 |
|
数据类型及操作接口 |
acl.mdl.add_dataset_buffer |
向aclmdlDataset中增加aclDataBuffer。 |
|
数据类型及操作接口 |
acl.mdl.create_dataset |
创建aclmdlDataset类型的数据。 该数据类型用于描述模型推理时的输入数据、输出数据,模型可能存在多个输入、多个输出,每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述。 如需销毁aclmdlDataset类型的数据,请参见函数:destroy_dataset。 |
|
数据类型及操作接口 |
acl.mdl.get_num_outputs |
根据aclmdlDesc类型的数据,获取模型的输出个数。 |
|
数据类型及操作接口 |
acl.mdl.get_output_size_by_index |
根据aclmdlDesc类型的数据,获取指定输出的大小,单位为Byte。 |
|
媒体数据处理 |
媒体数据模块-JPEG |
acl.media.dvpp_jpeg_decode_async |
图形解码。 |
acl.media.dvpp_jpeg_encode_async |
图形编码。 |
||
媒体数据模块-VPC |
acl.media.dvpp_vpc_crop_async |
抠一张子图。 |
|
acl.media.dvpp_vpc_crop_and_paste_async |
抠图并粘贴到输出图片。 |
||
acl.media.dvpp_vpc_batch_crop_async |
抠多张子图。 |
||
acl.media.dvpp_vpc_batch_crop_and_paste_async |
抠多张子图并粘贴到输出图片。 |
||
数据类型及操作接口 |
acl.media.dvpp_create_roi_config |
创建图片框区域配置。 |
|
acl.media.dvpp_set_pic_desc系列接口 |
设置图片描述相关参数。 |
||
数据类型及操作接口 |
acl.media.dvpp_create_batch_pic_desc |
||
数据类型及操作接口 |
acl.media.dvpp_create_channel |
创建图片数据处理的通道,同一个通道可以重复使用,销毁后不再可用。 |
|
数据类型及操作接口 |
acl.media.dvpp_create_channel_desc |
创建acldvppChannelDesc类型的数据,表示创建图片数据处理通道时的通道描述信息。 |
|
数据类型及操作接口 |
acl.media.dvpp_create_jpege_config |
创建acldvppJpegeConfig类型的数据,表示图片编码配置数据。 如需销毁acldvppJpegeConfig类型的数据,请参见acl.media.dvpp_destroy_jpege_config。 |
|
数据类型及操作接口 |
acl.media.dvpp_create_pic_desc |
创建acldvppPicDesc类型的数据,表示图片描述信息。 如需销毁acldvppPicDesc类型的数据,请参见acl.media.dvpp_destroy_pic_desc。 |
|
数据类型及操作接口 |
acl.media.dvpp_create_resize_config |
创建acldvppResizeConfig类型的数据,表示图片缩放配置数据。 如需销毁acldvppResizeConfig类型的数据,请参见acl.media.dvpp_destroy_resize_config。 Atlas 200/300/500 推理产品,默认缩放算法为“华为自研的高阶滤波算法”。 Atlas 训练系列产品,默认缩放算法为“华为自研的高阶滤波算法”。 Atlas 推理系列产品,默认缩放算法为“业界通用的Bilinear算法”。 Atlas A2训练系列产品/Atlas 800I A2推理产品,默认缩放算法为“业界通用的Bilinear算法”。 Atlas 200I/500 A2推理产品,默认缩放算法为“业界通用的Bilinear算法”。 |
|
数据类型及操作接口 |
acl.media.dvpp_create_roi_config |
创建acldvppRoiConfig类型的数据,用于描述某个区域位置的数据。 如需销毁acldvppRoiConfig类型的数据,请参见acl.media.dvpp.destroy_roi_config。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc |
获取指定图片的图片描述信息。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc_data |
获取图片描述参数:图片数据内存。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc_height |
获取图片描述参数:原始图片高。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc_ret_code |
获取图片描述参数:返回码。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc_size |
获取图片描述参数:图片数据内存大小。 |
|
数据类型及操作接口 |
acl.media.dvpp_get_pic_desc_width |
获取图片描述参数:原始图片宽。 |
|
数据类型及操作接口 |
acl.media.dvpp_jpeg_get_image_info |
从存放JPEG图片数据的内存中读取JPEG图片的宽、高、颜色通道个数。 该接口会检查图片格式是否支持解码,如果遇到不支持的码流则该接口会返回ACL_ERROR_UNSUPPORTED_JPEG错误码,该错误码的详细描述请参见aclError。 |
|
数据类型及操作接口 |
acl.media.dvpp_jpeg_predict_enc_size |
根据输入图片描述信息、图片编码配置数据预估图片编码后所需的输出内存的大小。 |
|
数据类型及操作接口 |
acl.media.dvpp_set_jpege_config_level |
设置编码配置数据。 |
|
数据释放 |
acl.media.dvpp_destroy_jpege_config |
销毁通过acl.media.dvpp_create_jpege_config接口创建的编码配置数据。 |
|
数据释放 |
acl.media.dvpp_destroy_pic_desc |
销毁通过acl.media.dvpp_create_pic_desc接口创建的acldvppPicDesc类型的数据。 |
|
数据释放 |
acl.media.dvpp_destroy_batch_pic_desc |
销毁通过acl.media.dvpp_create_batch_pic_desc接口创建的acldvppBatchPicDesc类型的数据。 |
|
数据释放 |
acl.media.dvpp_destroy_channel |
销毁图片数据处理的通道,只能销毁通过acl.media.dvpp_create_channel接口创建的通道。 |
|
数据释放 |
acl.media.dvpp_destroy_channel_desc |
销毁通过acl.media.dvpp_create_channel_desc接口创建的acldvppChannelDesc类型的数据。 |
|
数据释放 |
acl.media.dvpp_destroy_resize_config |
销毁通过acl.media.dvpp_create_resize_config接口创建的缩放配置数据 |
|
模型推理 |
模型加载与执行 |
acl.mdl.execute |
执行模型同步推理。 |
流同步 |
Stream管理 |
acl.rt.synchronize_stream |
阻塞应用程序运行,直到指定Stream中的所有任务都完成。 |
数据后处理 |
数据类型及操作接口 |
acl.create_data_buffer |
创建aclDataBuffer类型的数据。 |
acl.mdl.get_dataset_buffer |
获取aclmdlDataset中的第n个aclDataBuffer。 |
||
acl.mdl.get_dataset_num_buffers |
获取aclmdlDataset中aclDataBuffer的个数。 |
||
数据交互 |
内存管理 |
acl.rt.memcpy |
数据传输,Host->Device或Device->Host。 |
内存管理 |
acl.media.dvpp_malloc |
分配内存给Device侧媒体数据处理时使用。 |
|
内存管理 |
acl.rt.malloc |
申请Device上的内存。 |
|
内存管理 |
acl.rt.malloc_host |
申请Host上的内存。 |
|
公共模块 |
-- |
acl.util.ptr_to_numpy |
将指针地址数据转换为numpy数组,可以使Python代码直接访问。 |
-- |
acl.util.numpy_to_ptr |
获取numpy.ndarry数组的内存数据指针地址。 |
|
C和Python的数据交互 |
acl.util.bytes_to_ptr |
将bytes对象转换成为void*数据,可以将转换好的数据传递给C函数直接使用。 |
|
C和Python的数据交互 |
acl.util.ptr_to_bytes |
将void*数据转换为bytes对象,可以使Python代码直接访问。 |
|
资源释放 |
内存管理 |
acl.rt.free |
释放Device上的内存。 |
内存管理 |
acl.media.dvpp_free |
通过acl.media.dvpp_malloc接口申请的内存。 |
|
内存管理 |
acl.rt.free_host |
释放Host上的内存。 |
|
模型加载与执行 |
acl.mdl.unload |
卸载模型。 |
|
Stream管理 |
acl.rt.destroy_stream |
销毁Stream。 |
|
Context管理 |
acl.rt.destroy_context |
销毁Context。 |
|
Device管理 |
acl.rt.reset_device |
复位当前运算的Device,回收Device上的资源。 |
|
去初始化 |
acl.finalize |
实现pyACL去初始化。 |
|
数据释放 |
acl.destroy_data_buffer |
销毁aclDataBuffer类型的数据。 此处仅销毁aclDataBuffer类型的数据,调用acl.create_data_buffer接口创建aclDataBuffer类型数据时传入的data的内存需由用户自行释放。 |
|
数据释放 |
acl.mdl.destroy_dataset |
销毁通过acl.mdl.create_dataset接口创建的aclmdlDataset类型的数据。 |
|
数据释放 |
acl.mdl.destroy_desc |
销毁通过acl.mdl.create_desc接口创建的aclmdlDesc类型的数据。 |
目录结构如下所示。
vpc_jpeg_resnet50_imagenet_classification ├──scripts │ ├── host_version.conf //版本号配置文件。 │ └── testcase_300.sh //运行脚本。 ├──src │ ├── acl_dvpp_process.py //媒体数据处理。 │ ├── acl_model_process.py //模型运行文件。 │ ├── constant.py //常量定义。 │ └── main.py //运行文件,流程逻辑控制。 ├── data │ ├── fusion_result.json //atc转化后生成,记录融合算子信息。 │ └── vdec_h265_1frame_rabbit_1280x720.h265 //用户待处理的视频文件,由用户自行获取。 ├── caffe_model //需要用户部署。 │ ├── aipp.cfg //模型的配置数据。 │ ├── resnet50.caffemodel //ResNet-50模型。 │ └── resnet50.prototxt // ResNet-50模型的网络文件。 └── model //推理模型转换后生成的目录。 └── resnet50_aipp.om //转换后的模型文件。