下载
EN
注册
使用昇腾310P AI处理器时,模型推理精度下降

使用昇腾310P AI处理器时,模型推理精度下降

2022/10/11

234

暂无评分
我要评分

问题信息

问题来源产品大类产品子类关键字
官方模型推理应用开发AscendCLJPEG、DVPP、模型、精度、下降、算法、libjpeg

问题现象描述

  • 业务场景:DVPP,精度调优
  • 适用处理器:昇腾310P AI处理器
  • 处理器形态:EP、RC
  • 问题现象:

    图像集的整体推理精度存在下降。

    • JPEG图片集经过DVPP的JPEG解码模块,解码成yuv420格式,再经过VPC进行缩放处理,再经过AIPP进行色域变换处理成rgb格式,最后经过AI Core进行网络推理(推理网络为Resnet50,yolo3),与下面对比实验进行比对,图像集的整体推理精度存在下降。
    • 对比实验:JPEG图片集经过opencv解码,解码成rgb格式,再经过opencv缩放,最后经过AI Core进行网络推理。

原因分析

可能原因分析:

DVPP的JPEG模块解码算法使用较新的libjpeg-turbo算法(Opencv3.4.4及以上),而已经训练好的模型,一般是使用libjpeg算法(Opencv2.4.9中的解码算法)训练得到的,造成这个模型不是最适配DVPP解码的模型。

DVPP的VPC缩放算法采用的是自研算法,而已经训练好的模型,一般是使用双线性插值算法(Opencv默认算法)训练得到的,造成这个模型不是最适配DVPP缩放的模型。

解决措施

定位思路

确定精度下降的原因是否为DVPP解码和缩放导致,具体过程如下:

1. 进行对比实验,实验过程如图所示,对照组是用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为是由于DVPP解码和缩放导致。
图1 DVPP解码与缩放
2. 进行对比实验,实验过程如图所示,对照组仍然使用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为DVPP解码对精度有影响。
图2 DVPP解码
3. 进行对比实验,实验过程如图所示,对照组仍然使用Opencv进行解码和缩放,如果与对照组精度相比下降,则认为DVPP缩放对精度有影响。
图3 DVPP缩放

建议使用“DVPP JPEG解码+VPC缩放+AIPP色域转换”获取RGB图片,再对已有模型进行增量训练或者重新全量训练,得到新的模型用于推理。

本页内容