样例介绍
获取样例
单击视频解码+同步推理获取样例。
功能描述
该样例主要是基于Caffe ResNet-50网络(单输入、单batch)实现图片分类的功能。
将Caffe ResNet-50网络的模型文件转换为适配昇腾AI处理器的离线模型(*.om文件)。该样例中加载该om文件,将1个H.265格式(*.h265)的视频码流(仅包含一帧)循环10次解码出10张YUV420SP NV12格式的图片,对该10张图片做缩放,并对缩放的图片进行推理,分别得到推理结果后,再对推理结果进行处理,输出最大置信度的类别标识以及top5置信度的总和。
转换模型时,需配置色域转换参数,用于将YUV420SP格式的图片转换为RGB格式的图片,才能符合模型的输入要求。
主要接口
主要接口如表1所示。
功能 |
对应pyACL模块 |
pyACL 接口函数 |
功能说明 |
---|---|---|---|
资源初始化 |
初始化 |
acl.init |
初始化pyACL配置。 |
Device管理 |
acl.rt.set_device |
指定用于运算的Device。 |
|
Context管理 |
acl.rt.create_context |
创建Context。 |
|
模型初始化 |
模型加载与执行 |
acl.mdl.load_from_file |
从*.om文件加载模型到device侧。 |
数据类型及操作接口 |
acl.mdl.create_desc |
创建模型描述数据类型。 |
|
数据类型及操作接口 |
acl.mdl.get_desc |
获取模型描述数据类型。 |
|
数据类型及操作接口 |
acl.mdl.add_dataset_buffer |
向aclmdlDataset中增加aclDataBuffer。 |
|
数据类型及操作接口 |
acl.mdl.create_dataset |
创建aclmdlDataset类型的数据。 该数据类型用于描述模型推理时的输入数据、输出数据,模型可能存在多个输入、多个输出,每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述。 如需销毁aclmdlDataset类型的数据,请参见函数:destroy_dataset。 |
|
数据类型及操作接口 |
acl.mdl.get_cur_output_dims |
根据模型描述信息获取指定的模型输出Tensor的实际维度信息。 |
|
数据类型及操作接口 |
acl.mdl.get_num_outputs |
根据aclmdlDesc类型的数据,获取模型的输出个数。 |
|
数据类型及操作接口 |
acl.mdl.get_num_inputs |
根据aclmdlDesc类型的数据,获取模型的输入个数。 |
|
模型推理 |
模型加载与执行 |
acl.mdl.execute |
执行模型同步推理。 |
数据后处理 |
数据类型及操作接口 |
acl.create_data_buffer |
创建aclDataBuffer类型的数据。 |
数据类型及操作接口 |
acl.mdl.get_dataset_buffer |
获取aclmdlDataset中的第n个aclDataBuffer。 |
|
数据类型及操作接口 |
acl.mdl.get_dataset_num_buffers |
获取aclmdlDataset中aclDataBuffer的个数。 |
|
数据交互 |
内存管理 |
acl.rt.memcpy |
数据传输,Host->Device或Device->Host。 |
内存管理 |
acl.rt.maclloc |
申请Device上的内存。 |
|
内存管理 |
acl.rt.malloc_host |
申请Host上的内存。 |
|
公共模块 |
-- |
acl.util.ptr_to_numpy |
将指针地址数据转换为numpy数组,可以使Python代码直接访问。 |
-- |
acl.util.numpy_to_ptr |
获取numpy.ndarry数组的内存数据指针地址。 |
|
资源释放 |
内存管理 |
acl.rt.free |
释放Device上的内存。 |
内存管理 |
acl.rt.free_host |
释放Host上的内存。 |
|
模型加载与执行 |
acl.mdl.unload |
卸载模型。 |
|
Context管理 |
acl.rt.destroy_context |
销毁Context。 |
|
Device管理 |
acl.rt.reset_device |
复位当前运算的Device,回收Device上的资源。 |
|
去初始化 |
acl.finalize |
实现pyACL去初始化。 |
|
数据释放 |
acl.destroy_data_buffer |
销毁aclDataBuffer类型的数据。 此处仅销毁aclDataBuffer类型的数据,调用acl.create_data_buffer接口创建aclDataBuffer类型数据时传入的data的内存需由用户自行释放。 |
|
数据释放 |
acl.mdl.destroy_dataset |
销毁通过acl.mdl.create_dataset接口创建的aclmdlDataset类型的数据。 |
|
数据释放 |
acl.mdl.destroy_desc |
销毁通过acl.mdl.create_desc接口创建的aclmdlDesc类型的数据。 |
目录结构
目录结构如下所示。
vdec_resnet50_classification ├──scripts │ ├── host_version.conf //版本号配置文件。 │ └── testcase_300.sh //运行脚本。 ├──src │ ├── acl_dvpp.py //图片缩放实现文件。 │ ├── acl_model.py //模型推理实现文件。 │ ├── acl_sample.py //运行文件。 │ ├── acl_util.py //工具类函数实现文件。 │ ├── acl_vdec.py //视频解码实现文件。 │ └── constant.py //常量定义。 ├── data ├── README_CN.md │ └── vdec_h265_1frame_rabbit_1280x720.h265 //用户待处理的视频文件,由用户自行获取。 ├── caffe_model //需要用户部署。 │ ├── aipp.cfg //模型的配置数据。 │ ├── resnet50.caffemodel //ResNet-50模型。 │ └── resnet50.prototxt // ResNet-50模型的网络文件。 └── model //推理模型转换后生成的目录。 └── resnet50_aipp.om //转换后的模型文件。