开发者
资源

精度比对

QUANT_DUMPABLE

是否采集量化算子的dump数据。

参考应用开发 (C&C++)中的模型推理精度提升建议章节进行精度定位时,如果存在AMCT量化后的模型,该模型转成om离线模型时,图编译过程中可能优化量化算子的输入输出,从而影响量化算子dump数据的导出,例如:两个被量化的卷积计算,中间输出被优化为int8的量化后输出。

为此引入QUANT_DUMPABLE参数,使能该参数后,量化算子的输入输出不做融合,并且会插入transdata算子,还原原始模型的格式,从而能采集到量化算子的dump数据。

参数取值:

  • 0:(默认值)图编译过程中可能优化量化算子的输入输出,此时无法获取量化算子的dump数据。
  • 1:开启此配置后,可确保能够采集量化算子的dump数据。

配置示例:

{ge::ir_option::QUANT_DUMPABLE, "1"}

产品支持情况:

全量芯片支持。