Atlas 300i Duo上部署qwen3-32b后启动失败
收藏回复举报
Atlas 300i Duo上部署qwen3-32b后启动失败
t('forum.solved') 已解决
发表于2025-08-15 15:27:43
0 查看

更新过驱动固件和mindie(2.1.RC1-300I-Duo-py311),能正常运行deepseek-r1-32b。没找到原因,希望大佬指点


报错内容:

%E6%8A%A5%E9%94%99%E5%86%85%E5%AE%B9.png

LLMInferEngine failed to init LLMInferModels

Killed


容器创建:

docker run -it -d --net=host --shm-size=500g     --privileged     --name Qwen3     --device=/dev/davinci_manager     --device=/dev/hisi_hdc     --device=/dev/devmm_svm    

-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro     -v /usr/local/sbin:/usr/local/sbin:ro     -v /ubuntu/models/Qwen3:/Qwen3     29635b767eda bash


容器内映射模型的位置与内容:

qwen3%E6%A8%A1%E5%9E%8B%E4%BD%8D%E7%BD%AE.png


qwen3 config的修改:

qwen3config%E6%B5%AE%E7%82%B916%E9%85%8D%E7%BD%AE.png


容器config文件的修改:

%E5%AE%B9%E5%99%A8config%E9%85%8D%E7%BD%AE01.png%E5%AE%B9%E5%99%A8config%E9%85%8D%E7%BD%AE02.png


以上就是我大部分配置内容了。

顺便问一句,现在官方文档这个微推理的意思式以后启动模型不在需要mindie了吗?

%E5%BE%AE%E6%8E%A8%E7%90%86.png


有人在300i Duo上部署QwQ-32b和gpt-oss-20b了吗,感谢~

我要发帖子