开发者
资源

OFMR算法

OFMR(Output FeatureMap Reconstruct)算法在某个数据分布下,通过搜索的方式确定最佳量化因子。该算法用于训练后量化,量化原理图如下所示:

  1. 推理原始模型,获取待量化模型的原始输出。
  1. 遍历所有候选量化因子,推理模型,获取量化后的输出。
  2. 比较量化输出与原始输出的误差,选取误差最小的量化因子。
图1 OFMR算法原理