部分大模型输出结果时会附带其思考过程,本特性旨在控制模型思考深度,当思考内容超过设定的thinking\budget时,系统会使用提示词对思考过程进行截断,促使模型提前结束思考。该特性适用于在响应速度与答案质量之间灵活权衡的场景。
离群值抑制(Anti-Outlier)主要用于解决模型量化中因激活值分布存在异常值(Outlier)而导致的精度损失问题。在大模型量化过程中,如果激活值中存在数值极大的离群点,会拉大量化区间(Scale),导致大部分正常数值的量化分辨率降低,从而严重影响模型精度。该技术通过对离群值进行平滑或抑制处理,有效改善数据分布,确保量化后的模型仍能保持较高的推理精度。 > [!NOTE]说明 > Anti-Outlier可以配合其他量化方式一起使用,如 W4A8、W8A8、W8A8C8 等。 以下展示了W8A8 + Anti-Outlier + PDMIX量化后权重描述文件 quantmodeldesc