使用amct训练后自动量化工具量化float32输入的模型,调用accuracy_based_auto_calibration进行基于精度的自动量化,量化过程并无报错,量化后模型输入仍为float32,不知道这是否是正确的。工具链接为accuracy_based_auto_calibration-训练后量化-Python API接口说明-...-文档首页-昇腾社区 (hiascend.com)。
除此以外,在atlas 200i dk a2上运行量化前后的模型对比,发现推理相同数量的图片运行时间基本相同,内存占比完全相同。是否会存在这种可能
使用amct训练后自动量化工具量化float32输入的模型,调用accuracy_based_auto_calibration进行基于精度的自动量化,量化过程并无报错,量化后模型输入仍为float32,不知道这是否是正确的。工具链接为accuracy_based_auto_calibration-训练后量化-Python API接口说明-...-文档首页-昇腾社区 (hiascend.com)。
除此以外,在atlas 200i dk a2上运行量化前后的模型对比,发现推理相同数量的图片运行时间基本相同,内存占比完全相同。是否会存在这种可能