910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels
收藏回复举报
910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels
t('forum.solved') 已解决
发表于2025-02-20 15:40:37
0 查看

910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels !!
910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels!!

显卡驱动 npu-smi 24.1.rc2 

当前环境基于  docker 运行普通Qwen2.5B 是可以正常运行的
但是运行 DeepSeek-R1-Distill-Qwen-1.5B 报错 LLMInferEngine failed to init LLMInferModels  !!!

基础环境信息:
硬件:910B3 卡 
驱动: 
24.1.rc2
docker 运行命令:
docker run --name deepseekInstance -it -d --net=host --shm-size=500g \
--privileged=true \
-w /home \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--entrypoint=bash \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /home:/home \
-v /tmp:/tmp \
-v /data/:/deepseek \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts


/usl/Ascend/xxx/conf/config.json 相关 http 、模型路径、显卡指定均已经配置

请问是固件与显卡的驱动不支持吗?是否需要升级驱动到R3版本 或者1.0.0 驱动和工具集 ??

本人已经尝试过 1.0.0 镜像  1.0.T7 、 2.0.T3 等Mindie 的docker镜像均报以上错误

求助!!!!!!!

我要发帖子