我们花了三周左右的时候进行微调 Qwen-1.5-7B，用于电商客服场景。内部评测集包含 2000 条人工标注的 QA 对，新模型准确率从 78% 提升到 92%。

可上线三天后，客服后台炸了：

• 用户问：“订单 123456 的物流到哪了？”
• 模型答：“您的订单已由顺丰快递发出，当前位于杭州中转站。”

但系统里根本没有订单 123456！

更可怕的是，这种“自信胡说”占比高达 37%（抽样 500 条）。用户反馈截图满屏都是：

“你们 AI 是瞎编的吧？”
“我都没下单，它说我已签收？！”

这应该咋在调整下才能搞好。。。