华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
环境:1台鲲鹏920CPU的服务器+2块Atlas 300 pro NPU卡,安装的操作系统为麒麟v10 SP3,现已经在物理服务器操作系统上部署完成ollama,并且DeepSeek-R1-Distill-Qwen-32B-Q8模型也正常运行了,问题是ollama无法调用NPU卡,一直使用CPU运行
各位大佬、高手们,这个问题怎么能解决?急求!!!
我要发帖子
环境:1台鲲鹏920CPU的服务器+2块Atlas 300 pro NPU卡,安装的操作系统为麒麟v10 SP3,现已经在物理服务器操作系统上部署完成ollama,并且DeepSeek-R1-Distill-Qwen-32B-Q8模型也正常运行了,问题是ollama无法调用NPU卡,一直使用CPU运行
各位大佬、高手们,这个问题怎么能解决?急求!!!