特性入口:$HOME/.local/lib/python3.x/site-packages/amct_pytorch/cli/llm/ptq.py 特性介绍:该入口用来进行PTQ优化训练,流程如下:数据加载:加载由extract_ptq_data生成的校准数据集。 逐层优化:对指定--quant_target(量化目标)单元执行逐层量化优化。 损失最小化:以原始未量化模型的输出作为真值GT(GroundTruth),通过最小化量化模块输出与真值之间的均方误差(MSE)来优化量化参数。 参数导出:优化完成后,自动导出各单元的PTQ参数。 特性输出:PTQ参数目录下的layer_*.pt文件。 约