ATC模型量化以及AIPP问题
收藏回复举报
ATC模型量化以及AIPP问题
t('forum.solved') 已解决
发表于2024-09-27 15:02:44
0 查看

【用户类型】:其他

【昇腾产品型号】:Atlas 200I A2(20T)

【版本】Ubuntu22.04、Ascend HDK 23.0.3,CANN 7.0.RC1

【问题求助】

1.关于aipp这个地方不太理解,aipp的输出格式是否可以制定,他有减均值除方差的操作,如果后续的模型为定点模型如何处理,数据格式进行自动格式转化,还是需要进行手动处理逻辑

2.使用华为的昇腾310B开展智能算法部署,浮点模型fp16数据类型没有太大问题,使用cann的amct进行量化后误差较大,暂时没有找到原因,就一层一层查找,下图为量化组件生成的*_deploy.onnx模型,硬件中导出conv层输出与AscendDequant的输出,文件路径分别为(./deq_data/deploy/data_conv1_out0.bin和./deq_data/deploy/data_conv1_dequant0.bin),其中AscendDequant算子内部存在一个mul算子,文件为ascend_dqscale_float.npy(应该为scale参数),关于这个网络模型的量化信息参见record.txt,量化配置文件为config.json,写了一个python文件quan_test.py,感觉误差较大,不确定有人清楚是什么原因么?

我要发帖子