Atlas 300V Pro部署DeepSeek-R1-Distill-Qwen-7B失败,coredumped
收藏回复举报
Atlas 300V Pro部署DeepSeek-R1-Distill-Qwen-7B失败,coredumped
t('forum.solved') 已解决
新人帖
发表于2025-03-27 22:58:08
0 查看

环境:鲲鹏920 cpu,麒麟v10操作系统,单机4张atlas 300v pro,单卡48g,现在有一张看不见,可用3张;

显卡驱动和固件都装了,下面图片有版本,24.1.0.1

我是在社区先搜索这个卡支持的模型,看到可以支持deepseek-7b,然后按照模型部署过程进行的操作:DeepSeek-R1-Distill-Qwen-7B

下载了ds-7b模型文件和镜像:mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

docker启动命令:

docker run -it -d --net=host --shm-size=1g \
    --privileged \
    --name deepseek-7b \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /root:/root:ro \
    swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

容器启动后,按文档说明修改了相关参数,

  • 拉起服务化,没起来,直接coredumped
cd /usr/local/Ascend/mindie/latest/mindie-service/bin

[root@Kylin bin]# ./mindieservice_daemon  

terminate called after throwing an instance of 'std::system_error'  

what(): Operation not permitted  

Aborted (core dumped)

帮忙看看是什么问题?如果显卡能支持这个模型,为什么直接coredumped了?

然后问一下,目前这个300v pro还能支持哪些模型呢?有没有直接镜像能启动的?

cke_2156.png

本帖最后由 匿名用户2025/03/28 08:57:03 编辑

我要发帖子