开发者
资源

SmoothQuant量化算法

SmoothQuant是一种同时确保准确率且推理高效的训练后量化 (PTQ) 方法,由于权重很容易量化,而激活则较难量化,SmoothQuant通过引入平滑系数来平滑激活异常值,通过数学上等效的变换将量化难度从激活转移到权重上。一般来说,激活异常值越多,迁移强度越大。

算法详细介绍请参见Link