模型量化是一种优化技术,它通过减少模型中参数和运算的精度来减小模型大小和加速模型推理。在深度学习领域,模型通常使用16位浮点数(FP16)进行训练,但推理时并不需要如此高的精度。通过量化,可以将模型的权重和激活从FP16降低到更低精度,如8位整数(INT8)。