环境:鲲鹏920 cpu,麒麟v10操作系统,单机4张atlas 300v pro,单卡48g,现在有一张看不见,可用3张;
显卡驱动和固件都装了,下面图片有版本,24.1.0.1
我是在社区先搜索这个卡支持的模型,看到可以支持deepseek-7b,然后按照模型部署过程进行的操作:DeepSeek-R1-Distill-Qwen-7B
下载了ds-7b模型文件和镜像:mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
docker启动命令:
容器启动后,按文档说明修改了相关参数,
[root@Kylin bin]# ./mindieservice_daemon
terminate called after throwing an instance of 'std::system_error'
what(): Operation not permitted
Aborted (core dumped)
帮忙看看是什么问题?如果显卡能支持这个模型,为什么直接coredumped了?
然后问一下,目前这个300v pro还能支持哪些模型呢?有没有直接镜像能启动的?

环境:鲲鹏920 cpu,麒麟v10操作系统,单机4张atlas 300v pro,单卡48g,现在有一张看不见,可用3张;
显卡驱动和固件都装了,下面图片有版本,24.1.0.1
我是在社区先搜索这个卡支持的模型,看到可以支持deepseek-7b,然后按照模型部署过程进行的操作:DeepSeek-R1-Distill-Qwen-7B
下载了ds-7b模型文件和镜像:mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
docker启动命令:
docker run -it -d --net=host --shm-size=1g \ --privileged \ --name deepseek-7b \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro \ -v /root:/root:ro \ swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts容器启动后,按文档说明修改了相关参数,
[root@Kylin bin]# ./mindieservice_daemon
terminate called after throwing an instance of 'std::system_error'
what(): Operation not permitted
Aborted (core dumped)
帮忙看看是什么问题?如果显卡能支持这个模型,为什么直接coredumped了?
然后问一下,目前这个300v pro还能支持哪些模型呢?有没有直接镜像能启动的?