LWC
LWC(Learnable Weight Clipping,可学习权重裁剪范围)是面向神经网络量化,尤其是LLM训练后量化的可微权重范围优化技术,在可学习裁剪外加入通道缩放类结构变换,增强低比特W/A量化精度。 算法详细介绍请参见:OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models 。
父主题: 权重量化算法
LWC(Learnable Weight Clipping,可学习权重裁剪范围)是面向神经网络量化,尤其是LLM训练后量化的可微权重范围优化技术,在可学习裁剪外加入通道缩放类结构变换,增强低比特W/A量化精度。 算法详细介绍请参见:OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models 。