ATC模型量化精度问题
收藏回复举报
ATC模型量化精度问题
t('forum.solved') 已解决
发表于2024-09-30 10:36:04
0 查看
【用户类型】:其他 

【昇腾产品型号】:Atlas 200I A2(20T) 

【版本】Ubuntu22.04、Ascend HDK 23.0.3,CANN 7.0.RC1 

【问题求助】 

1.使用华为的昇腾310B开展智能算法部署,浮点模型fp16数据类型没有太大问题,使用cann的amct进行量化后误差较大,暂时没有找到原因,就一层一层查找,量化组件生成的为*_deploy.onnx模型,硬件中导出conv层输出与AscendDequant的输出,文件路径分别为(./deq_data/deploy/data_conv1_out0.bin和./deq_data/deploy/data_conv1_dequant0.bin),其中AscendDequant算子内部存在一个mul算子,文件为ascend_dqscale_float.npy(应该为scale参数),关于这个网络模型的量化信息参见record.txt,量化配置文件为config.json,写了一个python文件quan_test.py,感觉误差较大,不确定有人清楚是什么原因么?

【附件】

https://rongrongstudio.lanzn.com/ir0yn2b7hvod

由于昇腾社区ZIP附件无法上传,上传蓝奏云链接

我要发帖子