我用训练好的yolov5目标检测pt文件,转换成onnx模型,放在NVIDIA的3090显卡上进行推理,5k张图片可以检测出300张。用同一个onnx模型转换为om模型放在Atlas 300I Duo推理卡上进行推理,同样的5k张图片只能检测出109张。 模型的前后处理脚本都是一样的。
问题(1):出现这种情况的原因除了 pt文件是否相同,前后处理代码是否相同,量化指标是否相同,还会有其他的影响因素吗?
问题(2):我在尝试利用不同的量化指标fp32和fp16的时候,发现模型的速度和精度几乎没变,是不是我模型量化转换存在问题?
问题(3):模型量化的转换方式具体是如何操作的?是在pt转换为onnx的时候就要转换完吗?还是说是在onnx转换om的时候才进行量化转换?
我用训练好的yolov5目标检测pt文件,转换成onnx模型,放在NVIDIA的3090显卡上进行推理,5k张图片可以检测出300张。用同一个onnx模型转换为om模型放在Atlas 300I Duo推理卡上进行推理,同样的5k张图片只能检测出109张。 模型的前后处理脚本都是一样的。
问题(1):出现这种情况的原因除了 pt文件是否相同,前后处理代码是否相同,量化指标是否相同,还会有其他的影响因素吗?
问题(2):我在尝试利用不同的量化指标fp32和fp16的时候,发现模型的速度和精度几乎没变,是不是我模型量化转换存在问题?
问题(3):模型量化的转换方式具体是如何操作的?是在pt转换为onnx的时候就要转换完吗?还是说是在onnx转换om的时候才进行量化转换?