AMCT量化yolo后,推理速度变化过小
收藏回复举报
AMCT量化yolo后,推理速度变化过小
t('forum.solved') 已解决
新人帖
发表于2025-06-03 01:26:08
0 查看
ultralytics官方的yolo11s的.onnx模型,大小在36.3mb,用amct_onnx自动量化到int8后,输出的deploy模型大小9.4mb,map损失<1%。对它们分别用atc编译为离线模型.om后,前者大小19.5mb,后者11.5mb。看体积是没问题的,但是两个模型的推理速度变化较小,仅从0.046s→0.043s,这是为什么?下附我使用的atc命令

atc \ 

  --model "yolo11s_quant_deploy_model.onnx" \ 

  --framework 5 \ 

  --input_shape "images:1,3,640,640" \ 

  --output yolo11s_quant_deploy_model \ 

  --soc_version "Ascend310B4"



设备:Orangepi Aipro 8T算力
SOC:Ascend310B4

我要发帖子