问题现象描述

• 问题现象：

  图像集的整体推理精度存在下降。

  • JPEG图片集经过DVPP的JPEG解码模块，解码成yuv420格式，再经过VPC进行缩放处理，再经过AIPP进行色域变换处理成rgb格式，最后经过AI Core进行网络推理（推理网络为Resnet50，yolo3），与下面对比实验进行比对，图像集的整体推理精度存在下降。
  • 对比实验：JPEG图片集经过opencv解码，解码成rgb格式，再经过opencv缩放，最后经过AI Core进行网络推理。

原因分析

可能原因分析：

• DVPP的JPEG模块解码算法使用较新的libjpeg-turbo算法（Opencv3.4.4及以上），而已经训练好的模型，一般是使用libjpeg算法（Opencv2.4.9中的解码算法）训练得到的，造成这个模型不是最适配DVPP解码的模型。
• DVPP的VPC缩放算法采用的是自研算法，而已经训练好的模型，一般是使用双线性插值算法（Opencv默认算法）训练得到的，造成这个模型不是最适配DVPP缩放的模型。

解决措施

定位思路

确定精度下降的原因是否为DVPP解码和缩放导致，具体过程如下：

1. 进行对比实验，实验过程如图所示，对照组是用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为是由于DVPP解码和缩放导致。

2. 进行对比实验，实验过程如图所示，对照组仍然使用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为DVPP解码对精度有影响。

3. 进行对比实验，实验过程如图所示，对照组仍然使用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为DVPP缩放对精度有影响。

处理步骤

建议使用“DVPP JPEG解码+VPC缩放+AIPP色域转换”获取RGB图片，再对已有模型进行增量训练或者重新全量训练，得到新的模型用于推理。具体方法请咨询华为工程师。