模型量化后甚至更慢了
收藏回复举报
模型量化后甚至更慢了
t('forum.solved') 已解决
发表于2023-02-23 16:57:19
0 查看

CANN:6.0.0.alpha003 硬件型号:A300I(3000)

使用amct工具均匀量化,量化基本使用样例中的方式,步骤如下

cke_3724.png

产看量化后的fake_onnx,确实已经量化成了INT8类型

cke_9445.png

将deploy转换成om模型部署测试,发现运行速度没有提升,甚至还变慢了一点。atc转换命令如下

atc --input_shape="input:1,3,416,416" --input_format=NCHW --output=./TwoStage_quant --soc_version=Ascend310 --insert_op_conf=./insert_op.cfg --framework=5 --save_original_model=false --model=/root/om_convert/TwoStage_deploy_model.onnx --log=error

我要发帖子