使用amct训练后自动量化工具量化float32输入的模型,量化后模型输入是否仍为float32
收藏回复举报
使用amct训练后自动量化工具量化float32输入的模型,量化后模型输入是否仍为float32
t('forum.solved') 已解决
发表于2024-03-05 18:24:27
0 查看

使用amct训练后自动量化工具量化float32输入的模型,调用accuracy_based_auto_calibration进行基于精度的自动量化,量化过程并无报错,量化后模型输入仍为float32,不知道这是否是正确的。工具链接为accuracy_based_auto_calibration-训练后量化-Python API接口说明-...-文档首页-昇腾社区 (hiascend.com)

除此以外,在atlas 200i dk a2上运行量化前后的模型对比,发现推理相同数量的图片运行时间基本相同,内存占比完全相同。是否会存在这种可能

我要发帖子