推理环境:使用的是官方镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie 1.0.RC2-300I-Duo-arm64
推理卡:Atlas 300I Duo 96G
大模型:从Hugging Face直接拉取的Qwen2-7B
现在问题:MindIE部署Qwen2-7B 模型,出现乱回答的想象,不知道什么原因?
备注:模型的配置文件config.json里修改一个字段 torch_dtype,由bfloat16 改为了float16。修改的原因是在启动MindIE Service 时,提示不支持bfloat16,只支持float16,修改后运行成功。
另外:我用Ollma 部署的Qwen2-7B,可以正常回复,没有乱回复的情况。
推理环境:使用的是官方镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie 1.0.RC2-300I-Duo-arm64
推理卡:Atlas 300I Duo 96G
大模型:从Hugging Face直接拉取的Qwen2-7B
现在问题:MindIE部署Qwen2-7B 模型,出现乱回答的想象,不知道什么原因?
备注:模型的配置文件config.json里修改一个字段 torch_dtype,由bfloat16 改为了float16。修改的原因是在启动MindIE Service 时,提示不支持bfloat16,只支持float16,修改后运行成功。
另外:我用Ollma 部署的Qwen2-7B,可以正常回复,没有乱回复的情况。