功能及约束说明

功能说明

VPC（Vision Preprocessing Core）功能包括：

• 抠图，从输入图片中抠出需要用的图片区域，支持一图多框和多图多框。
• 缩放
  • 针对不同分辨率的图像，VPC的处理方式可分为：
    • 非8K缩放：

      用于处理“（widthStride/系数）在32~4096（包括4096）范围内，heightStride在6~4096”的输入图片，不同格式的输入图片，系数不同，详细描述参见约束说明。

    • 8K缩放：

      昇腾310 AI处理器，8K缩放用于处理“widthStride在4096~8192范围内或heightStride在4096~8192范围内（不包括4096）”的输入图片，支持的输入图片格式，请参见约束说明。

  • 从是否抠多张图的维度，可分为单图裁剪缩放（支持非压缩格式）、一图多框裁剪缩放（支持非压缩格式）。
  • 其它缩放方式，如：原图缩放、等比例缩放（缩放前后图片的宽高比例相同）。
• 叠加，从输入图片中抠出来的图，对抠出的图进行缩放后，放在用户输出图片的指定区域，输出图片可以是空白图片（由用户申请的空输出内存产生的），也可以是已有图片（由用户申请输出内存后将已有图片读入输出内存），只有当输出图片是已有图片时，才表示叠加。
• 拼接，从输入图片中抠多张图片，对抠出的图进行缩放后，放到输出图片的指定区域。
• 格式转换，支持RGB格式、YUV格式之间的格式转换，目前的输入图片格式、输出图片格式，请参见约束说明。
• 图像灰度化，将彩色图像转化为灰度图像。需注意，输入为灰度图像、输出只能为灰度图像。

  昇腾310 AI处理器，实现图像灰度化的操作是从YUV420SP格式的输出图像数据中只取Y分量的数据。

功能示意图

图1 VPC功能示意图（抠图+缩放+叠加）

图2 VPC功能示意图（拼接）

图3 等比例缩放（贴图区域在输出图片的中心位置），即缩放前后图片的宽高比例相同

图4 等比例缩放（贴图区域在输出图片的上下居中位置）

图5 等比例缩放（贴图区域在输出图片的左右居中位置）

约束说明

• VPC输入的约束：
  • 输入图片分辨率：
    • 非8K缩放：
      • YUV400/YUV420SP/YUV422SP/YUV444sp：widthStride在32~4096（包括4096）范围内，heightStride在6~4096。
      • YUV422packed：widthStride/2在32~4096（包括4096）范围内，heightStride在6~4096。
      • YUV444packed/RGB888：widthStride/3在32~4096（包括4096）范围内，heightStride在6~4096。
      • XRGB8888：widthStride/4在32~4096（包括4096）范围内，heightStride在6~4096。
    • 8K缩放：

      昇腾310 AI处理器，8K缩放用于处理“widthStride在4096~8192范围内或heightStride在4096~8192范围内（不包括4096）”的输入图片。

    

    输入图片的宽高限制跟输入图片格式有关，在VPC支持的输入图片格式中，对于YUV420SP格式，宽高均需要2对齐；对于YUV422SP或者YUV422Packed格式，宽度需要2对齐，高度无限制；对于YUV440SP格式，宽度无限制，高度需要2对齐；其它格式宽高没有限制。

  • 输入图片格式：
    • 非8K缩放：
      支持acldvppPixelFormat枚举值中的如下枚举项：

      PIXEL_FORMAT_YUV_400 = 0, 
      PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1,   
      PIXEL_FORMAT_YVU_SEMIPLANAR_420 = 2,   
      PIXEL_FORMAT_YUV_SEMIPLANAR_422 = 3, 
      PIXEL_FORMAT_YVU_SEMIPLANAR_422 = 4, 
      PIXEL_FORMAT_YUV_SEMIPLANAR_444 = 5, 
      PIXEL_FORMAT_YVU_SEMIPLANAR_444 = 6, 
      PIXEL_FORMAT_YUYV_PACKED_422 = 7, 
      PIXEL_FORMAT_UYVY_PACKED_422 = 8, 
      PIXEL_FORMAT_YVYU_PACKED_422 = 9, 
      PIXEL_FORMAT_VYUY_PACKED_422 = 10, 
      PIXEL_FORMAT_YUV_PACKED_444 = 11, 
      PIXEL_FORMAT_RGB_888 = 12, 
      PIXEL_FORMAT_BGR_888 = 13, 
      PIXEL_FORMAT_ARGB_8888 = 14, 
      PIXEL_FORMAT_ABGR_8888 = 15, 
      PIXEL_FORMAT_RGBA_8888 = 16, 
      PIXEL_FORMAT_BGRA_8888 = 17, 
      PIXEL_FORMAT_YUV_SEMIPLANAR_440 = 1000,         
      PIXEL_FORMAT_YVU_SEMIPLANAR_440,                

      在昇腾310 AI处理器上，不支持以上枚举值中的PIXEL_FORMAT_YUV_SEMIPLANAR_440、PIXEL_FORMAT_YVU_SEMIPLANAR_440。

    • 8K缩放：
      昇腾310 AI处理器支持acldvppPixelFormat枚举值中的如下枚举项：

      PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1,
      PIXEL_FORMAT_YVU_SEMIPLANAR_420 = 2, 

  • 输入内存：
    • 内存地址起始要求16对齐。其中128对齐性能最高。调用acldvppMalloc接口/acldvppFree接口申请或释放内存，这部分内存的生命周期由用户自行管理。
    • 内存大小（单位Byte）与图片数据的格式相关，计算公式如下：
      • YUV400:

        昇腾310 AI处理器，计算公式：widthStride*heightStride*3/2

      • YUV420SP：widthStride*heightStride*3/2
      • YUV422SP：widthStride*heightStride*2
      • YUV444SP：widthStride*heightStride*3
      • YUV422packed：widthStride*heightStride
      • YUV444packed、RGB888：widthStride*heightStride
      • ARGB8888：widthStride*heightStride
  • 输入图片的widthStride、heightStride：
    • 对于不同图像格式，widthStride的计算公式不同：
      • YUV400、YUV420SP、YUV422SP、YUV444SP：输入图片的宽（width）对齐到16。
      • YUV422packed：输入图片的宽（width）对齐到16后，再乘以2（宽16对齐，每个像素占2个字节）。
      • YUV444packed、RGB888：输入图片的宽（width）对齐到16，再乘以3（宽16对齐，每个像素占3个字节）。
      • ARGB8888：输入图片的宽（width）对齐到16后，再乘以4（宽16对齐，每个像素占4个字节）。
    • heightStride：

      昇腾310 AI处理器，需要2对齐。

• VPC输出的约束：
  • 输出图片分辨率：

    10*6~4096*4096

    

    输出图片的宽高限制跟输出图片格式有关，在VPC支持的输出图片格式中，对于YUV420SP格式，宽高均需要2对齐；对于YUV422SP格式，宽度需要2对齐，高度无限制；其它格式宽高没有限制。

  • 输出图片格式：
    昇腾310 AI处理器支持acldvppPixelFormat枚举值中的如下枚举项：

    PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1, 
    PIXEL_FORMAT_YVU_SEMIPLANAR_420 = 2, 

  • 输出内存：
    • 内存地址起始要求16对齐。其中128对齐性能最高。调用acldvppMalloc接口/acldvppFree接口申请或释放内存，这部分内存的生命周期由用户自行管理。
    • 内存大小与图片数据的格式相关，计算公式请参见输入内存计算公式。
  • 输出图片的widthStride、heightStride：
    • widthStride：16对齐。
    • heightStride：

      昇腾310 AI处理器，需要2对齐。

• VPC抠图、贴图约束：
  • 抠图区域不超出输入图片区域。
  • 贴图区域不超出输出图片区域，最大贴图个数256个，贴图区域相对输出图片的左偏移16对齐。

    贴图时可直接放置在输出图片的最左侧，即相对输出图片的左偏移为0，0也满足16对齐的要求。

  • 输出图片的贴图宽度建议16对齐，如果不是16对齐，会多写一段无效数据使其16对齐。见图4、图5，贴图区域旁边的绿色框就表示无效数据。
  • 抠图、贴图区域的奇数、偶数限制为：

    版本	约束
    昇腾310 AI处理器	输出图片格式为YUV420SP，贴图区域奇数、偶数限制为：左偏移和上偏移为偶数、右偏移和下偏移为奇数。

  • 缩放场景下，贴图/抠图的宽高缩放比例范围：

    昇腾310 AI处理器，贴图/抠图的宽高缩放比例范围：[1/32, 16]。

    等比例缩放场景下，由于贴图左偏移16对齐的限制，如果直接调用acldvppVpcCropResizePasteAsync接口实现缩放功能，贴图的位置可能不在输出图片的正中心位置，此时可通过抠图、缩放、填充几个功能配合使用（调用acldvppVpcBatchCropResizeMakeBorderAsync接口），实现等比例缩放。

• VPC的输出作为模型推理的输入时：

  昇腾310 AI处理器，VPC功能中，贴图区域的宽*高有16*2对齐的约束，贴图有效区域的宽*高不满足16*2对齐时，贴图区域中会存在一些补边的无效数据，为保证推理精度，贴图有效区域的宽*高不满足16*2对齐时，用户需借助AIPP抠出有效区域，去除无效数据。

性能指标说明（昇腾310 AI处理器）

• 对于非8K缩放，单个Device的基本场景性能指标参考如下：

  对于1080p的图像，若存在Host->Device的图片数据拷贝，由于拷贝带宽限制，最大总帧率约为1000fps。

  对于4K的图像，若存在Host->Device的图片数据拷贝，由于拷贝带宽限制，最大总帧率约为250fps。

  场景举例	总帧率
  输入图像分辨率：1080p（1920*1080） 输出图像分辨率：1080p（1920*1080） 输入/输出图片格式：YUV420SP n路（n<4，1路对应一个线程）	n*360fps
  输入图像分辨率：1080p（1920*1080） 输出图像分辨率：1080p（1920*1080） 输入/输出图片格式：YUV420SP n路（n≥4，1路对应一个线程）	1440fps
  输入图像分辨率：4K图像（3840*2160） 输出图像分辨率：4K图像（3840*2160） 输入/输出图片格式：YUV420SP n路（n<4，1路对应一个线程）	n*90fps
  输入图像分辨率：4K图像（3840*2160） 输出图像分辨率：4K图像（3840*2160） 输入/输出图片格式：YUV420SP n路（n≥4，1路对应一个线程）	360fps

• 对于8K缩放，单个Device的典型场景性能指标参考如下：

  场景举例	总帧率
  输入图像分辨率：8K图像（7680*4320） 输出图像分辨率：1080p（1920*1080） 输入/输出图片格式：YUV420SP n路（n<4，1路对应一个线程）	n*25fps
  输入图像分辨率：8K图像（7680*4320） 输出图像分辨率：1080p（1920*1080） 输入/输出图片格式：YUV420SP n路（n≥4，1路对应一个线程）	100fps
  输入图像分辨率：8K图像（7680*4320） 输出图像分辨率：4K图像（3840*2160） 输入/输出图片格式：YUV420SP n路（n<4，1路对应一个线程）	n*25fps
  输入图像分辨率：8K图像（7680*4320） 输出图像分辨率：4K图像（3840*2160） 输入/输出图片格式：YUV420SP n路（n≥4，1路对应一个线程）	100fps

  

  上述性能数据，基于以下基本要求：

  • 一个stream上下发10个异步媒体数据处理任务后，执行一次aclrtSynchronizeStream接口。
  • CtrlCPU与AI CPU的配比是4：4

参考资源

RGB、YUV格式图像的各分量排布示意图。示例：SP图像以YUV420SP为例，Packed和RGB图像以ARGB图像为例。