SmoothQuant量化算法
SmoothQuant是一种同时确保准确率且推理高效的训练后量化 (PTQ) 方法,由于权重很容易量化,而激活则较难量化,SmoothQuant通过引入平滑系数来平滑激活异常值,通过数学上等效的变换将量化难度从激活转移到权重上。一般来说,激活异常值越多,迁移强度越大。
父主题: 全量化算法
SmoothQuant是一种同时确保准确率且推理高效的训练后量化 (PTQ) 方法,由于权重很容易量化,而激活则较难量化,SmoothQuant通过引入平滑系数来平滑激活异常值,通过数学上等效的变换将量化难度从激活转移到权重上。一般来说,激活异常值越多,迁移强度越大。