qwen2.5-vl-7b大模型部署910b精度损失
收藏回复举报
qwen2.5-vl-7b大模型部署910b精度损失
t('forum.solved') 已解决
新人帖
发表于2025-07-14 11:14:08
0 查看
我在A800 gpu上对qwen2.5-vl-7b大模型(后简称大模型)进行了监督微调,将权重文件迁移到atlas 800l上之后,采用该权重文件对大模型进行了推理,采取的prompt是利用大模型输出一个深度值(一般是0-100之间的一个实数),一共推理了7636个样本,与在A800上推理的结果的一致的数量为7150,推理结果一致的样本占比为93.64%。以上结果为预处理结果一致、计算精度一致、大模型参数一致、大模型随机性相关参数设置为temperature=0.0 && top_k=1且一致的条件下得到的。
有什么可能的原因导致上述问题的出现?以及这些原因应该怎么进行处理?

我要发帖子