精度比对
QUANT_DUMPABLE
是否采集量化算子的dump数据。
参考《应用开发 (C&C++)》中的“模型推理精度提升建议”章节进行精度定位时,如果存在AMCT量化后的模型,该模型转成om离线模型时,图编译过程中可能优化量化算子的输入输出,从而影响量化算子dump数据的导出,例如:两个被量化的卷积计算,中间输出被优化为int8的量化后输出。
为此引入QUANT_DUMPABLE参数,使能该参数后,量化算子的输入输出不做融合,并且会插入transdata算子,还原原始模型的格式,从而能采集到量化算子的dump数据。
参数取值:
- 0:(默认值)图编译过程中可能优化量化算子的输入输出,此时无法获取量化算子的dump数据。
- 1:开启此配置后,可确保能够采集量化算子的dump数据。
配置示例:
{ge::ir_option::QUANT_DUMPABLE, "1"}
产品支持情况:
全量芯片支持。