使用昇腾310P AI处理器时,模型推理精度下降
2022/10/11
234
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型推理 | 应用开发AscendCL | JPEG、DVPP、模型、精度、下降、算法、libjpeg |
问题现象描述
- 业务场景:DVPP,精度调优
- 适用处理器:昇腾310P AI处理器
- 处理器形态:EP、RC
- 问题现象:
- JPEG图片集经过DVPP的JPEG解码模块,解码成yuv420格式,再经过VPC进行缩放处理,再经过AIPP进行色域变换处理成rgb格式,最后经过AI Core进行网络推理(推理网络为Resnet50,yolo3),与下面对比实验进行比对,图像集的整体推理精度存在下降。
- 对比实验:JPEG图片集经过opencv解码,解码成rgb格式,再经过opencv缩放,最后经过AI Core进行网络推理。
原因分析
可能原因分析:
DVPP的JPEG模块解码算法使用较新的libjpeg-turbo算法(Opencv3.4.4及以上),而已经训练好的模型,一般是使用libjpeg算法(Opencv2.4.9中的解码算法)训练得到的,造成这个模型不是最适配DVPP解码的模型。
DVPP的VPC缩放算法采用的是自研算法,而已经训练好的模型,一般是使用双线性插值算法(Opencv默认算法)训练得到的,造成这个模型不是最适配DVPP缩放的模型。
解决措施
定位思路
确定精度下降的原因是否为DVPP解码和缩放导致,具体过程如下:
1. 进行对比实验,实验过程如图所示,对照组是用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为是由于DVPP解码和缩放导致。
图1 DVPP解码与缩放
2. 进行对比实验,实验过程如图所示,对照组仍然使用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为DVPP解码对精度有影响。
图2 DVPP解码
3. 进行对比实验,实验过程如图所示,对照组仍然使用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为DVPP缩放对精度有影响。
图3 DVPP缩放
建议使用“DVPP JPEG解码+VPC缩放+AIPP色域转换”获取RGB图片,再对已有模型进行增量训练或者重新全量训练,得到新的模型用于推理。
本页内容