ultralytics官方的yolo11s的.onnx模型,大小在36.3mb,用amct_onnx自动量化到int8后,输出的deploy模型大小9.4mb,map损失<1%。对它们分别用atc编译为离线模型.om后,前者大小19.5mb,后者11.5mb。看体积是没问题的,但是两个模型的推理速度变化较小,仅从0.046s→0.043s,这是为什么?下附我使用的atc命令
atc \
--model "yolo11s_quant_deploy_model.onnx" \
--framework 5 \
--input_shape "images:1,3,640,640" \
--output yolo11s_quant_deploy_model \
--soc_version "Ascend310B4"
设备:Orangepi Aipro 8T算力
SOC:Ascend310B4
atc \
--model "yolo11s_quant_deploy_model.onnx" \
--framework 5 \
--input_shape "images:1,3,640,640" \
--output yolo11s_quant_deploy_model \
--soc_version "Ascend310B4"
设备:Orangepi Aipro 8T算力
SOC:Ascend310B4