推理Qwen2-7B时，设置do_sample=False才可正常运行，否则报错，从而无法调节temperature等相关参数
已解决发表于2024-09-19 13:45:56
0 查看
1.版本信息
-- CANN：7.0.RC1.alpha001
-- pytorch 2.1.0
--Python：3.10
--操作系统：EulerOS 2.0 (SP8)
2.相关日志
1.do_sample=True 
2.do_sample=False
正常运行，但无法在调节温度系数等相关参数
3.补充信息
在推理llava等其它大模型时也出现了同样的问题
点赞
收藏
回复
分享
举报
1.版本信息
-- CANN：7.0.RC1.alpha001
-- pytorch 2.1.0
--Python：3.10
--操作系统：EulerOS 2.0 (SP8)
2.相关日志
1.do_sample=True
2.do_sample=False
正常运行，但无法在调节温度系数等相关参数
3.补充信息
在推理llava等其它大模型时也出现了同样的问题