1. 硬件环境:Atlas 300I Pro推理卡;
2. CANN版本为:8.0.RC3.alpha002;
目前在进行模型的AMCT量化功能实现:
1. 按照官方AMCT安装教程,完成AMCT的安装,并且可以实现官方示例的demo运行;安装教程参考AMCT安装教程;运行成功的官方示例参考;
2. 按照示例中的实现流程准备自训练YOLOv8算法模型,导出动态batch的onnx模型,模型输入输出为:

2. 执行AMCT量化命令如下:
amct_onnx calibration --model model/yolov8s_test.onnx --input_shape "images:16,3,640,640" --data_type "float32" --data_dir ./data/calibration/ --save_path ./results/yolov8s_test
能够正常运行,生成量化后模型;落盘日志如下:amct_onnx_log.txt;能够正常生成的量化后模型:

量化后模型可视化可知输入输出为:

3. 量化后模型进行atc转换生成om模型,执行命令如下:atc --model=yolov8s_test_deploy_model.onnx --framework=5 --output=yolov8s_test_deploy_model --input_shape="images:1,3,640,640" --soc_version=Ascend310P3 --insert_op_conf=aipp.cfg
4. 对量化后的om模型进行推理,并对推理时间进行测试,发现推理时间与不经过量化的模型相比,量化后的模型推理时间增加了一倍。
量化前模型推理:

量化后模型推理:

问题:不太明确是哪里出现的问题,造成推理时间没有优化。需要请教以下专家老师这种情况的可能原因。
1. 硬件环境:Atlas 300I Pro推理卡;
2. CANN版本为:8.0.RC3.alpha002;
目前在进行模型的AMCT量化功能实现:
1. 按照官方AMCT安装教程,完成AMCT的安装,并且可以实现官方示例的demo运行;安装教程参考AMCT安装教程;运行成功的官方示例参考;
2. 按照示例中的实现流程准备自训练YOLOv8算法模型,导出动态batch的onnx模型,模型输入输出为:
2. 执行AMCT量化命令如下:
amct_onnx calibration --model model/yolov8s_test.onnx --input_shape "images:16,3,640,640" --data_type "float32" --data_dir ./data/calibration/ --save_path ./results/yolov8s_test
能够正常运行,生成量化后模型;落盘日志如下:amct_onnx_log.txt;能够正常生成的量化后模型:
量化后模型可视化可知输入输出为:
3. 量化后模型进行atc转换生成om模型,执行命令如下:atc --model=yolov8s_test_deploy_model.onnx --framework=5 --output=yolov8s_test_deploy_model --input_shape="images:1,3,640,640" --soc_version=Ascend310P3 --insert_op_conf=aipp.cfg
4. 对量化后的om模型进行推理,并对推理时间进行测试,发现推理时间与不经过量化的模型相比,量化后的模型推理时间增加了一倍。
量化前模型推理:
量化后模型推理:
问题:不太明确是哪里出现的问题,造成推理时间没有优化。需要请教以下专家老师这种情况的可能原因。