昇腾310P部署deepseek问题求助
收藏回复举报
昇腾310P部署deepseek问题求助
t('forum.solved') 已解决
发表于2025-05-16 09:08:50
0 查看

硬件平台:飞腾D2000桌面CPU+昇腾310P

操作系统:银河麒麟V10桌面系统(Linux 5.4内核)

直接使用昇腾社区提供的容器环境,部署时报错,无法进行大模型推理,参考链接https://www.hiascend.com/developer/ascendhub/detail/b4598e6a1ecc408faa7b1af224f7a645

分别使用了atlas800ia2-1x32gb-bf16-vllm-default和atlas800ia2-1x32gb-bf16-mindie-service-default两种参数,均报错,日志见附件,第一个附件为使用atlas800ia2-1x32gb-bf16-vllm-default变量启动容器时docker logs报错信息,第二个附件为使用atlas800ia2-1x32gb-bf16-mindie-service-default变量启动容器时的报错信息,第三个附件为npu-smi info命令显示,麻烦帮忙分析下原因,理论上使用的都是昇腾社区提供的镜像了,为什么还会无法部署?是跟我的硬件平台相关吗?必须得是atlas800I推理服务器才可以?

我要发帖子