910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels !!
910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels!!
显卡驱动 npu-smi 24.1.rc2
当前环境基于 docker 运行普通Qwen2.5B 是可以正常运行的
但是运行 DeepSeek-R1-Distill-Qwen-1.5B 报错 LLMInferEngine failed to init LLMInferModels !!!
基础环境信息:
硬件:910B3 卡
驱动: 24.1.rc2
docker 运行命令:
docker run --name deepseekInstance -it -d --net=host --shm-size=500g \
--privileged=true \
-w /home \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--entrypoint=bash \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /home:/home \
-v /tmp:/tmp \
-v /data/:/deepseek \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts
/usl/Ascend/xxx/conf/config.json 相关 http 、模型路径、显卡指定均已经配置
请问是固件与显卡的驱动不支持吗?是否需要升级驱动到R3版本 或者1.0.0 驱动和工具集 ??
本人已经尝试过 1.0.0 镜像 1.0.T7 、 2.0.T3 等Mindie 的docker镜像均报以上错误
求助!!!!!!!
910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels !!
910B 部署 deepseek-r1 报错:LLMInferEngine failed to init LLMInferModels!!
显卡驱动 npu-smi 24.1.rc2
当前环境基于 docker 运行普通Qwen2.5B 是可以正常运行的
但是运行 DeepSeek-R1-Distill-Qwen-1.5B 报错 LLMInferEngine failed to init LLMInferModels !!!
基础环境信息:
硬件:910B3 卡
驱动: 24.1.rc2
docker 运行命令:
docker run --name deepseekInstance -it -d --net=host --shm-size=500g \
--privileged=true \
-w /home \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--entrypoint=bash \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /home:/home \
-v /tmp:/tmp \
-v /data/:/deepseek \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts
/usl/Ascend/xxx/conf/config.json 相关 http 、模型路径、显卡指定均已经配置
请问是固件与显卡的驱动不支持吗?是否需要升级驱动到R3版本 或者1.0.0 驱动和工具集 ??
本人已经尝试过 1.0.0 镜像 1.0.T7 、 2.0.T3 等Mindie 的docker镜像均报以上错误
求助!!!!!!!