MindIE测试DeepSeek-R1-Distill-Qwen-32B,服务起不起来,报LLMInferEngine failed to init LLMInferModels错
收藏回复举报
MindIE测试DeepSeek-R1-Distill-Qwen-32B,服务起不起来,报LLMInferEngine failed to init LLMInferModels错
t('forum.solved') 已解决
发表于2025-02-07 17:45:18
0 查看

需要解决方案,不需要提供文档谢谢!!!(文档已经翻烂了)

在910B4 8卡上基于mindie镜像是2.0.T3(最新)测试DeepSeek-R1-Distill-Qwen-32B,使用的驱动是24.1.rc3_linux-aarch64

已将DeepSeek-R1-Distill-Qwen-32B/config.json文件中"torch_dtype"字段改为"float16"

也只修改了/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json中需要修改的IP地址,所需卡数以及模型地址部分

但是执行服务时报错

cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

true

我要发帖子