MindIE部署Qwen2-7B 模型,出现乱回答的问题
收藏回复举报
MindIE部署Qwen2-7B 模型,出现乱回答的问题
t('forum.solved') 已解决
发表于2024-09-23 12:09:59
0 查看

推理环境:使用的是官方镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie   1.0.RC2-300I-Duo-arm64 

推理卡:Atlas 300I Duo 96G

大模型:从Hugging Face直接拉取的Qwen2-7B

现在问题:MindIE部署Qwen2-7B 模型,出现乱回答的想象,不知道什么原因?

备注:模型的配置文件config.json里修改一个字段 torch_dtype,由bfloat16 改为了float16。修改的原因是在启动MindIE Service 时,提示不支持bfloat16,只支持float16,修改后运行成功。

另外:我用Ollma 部署的Qwen2-7B,可以正常回复,没有乱回复的情况。

我要发帖子