昇腾NPU支持Ollama部署大模型吗
收藏回复举报
昇腾NPU支持Ollama部署大模型吗
t('forum.solved') 已解决
发表于2024-11-27 16:18:46
0 查看

在服务器上安装ollama部署llama3.1进行推理任务,但是安装之后无法识别NPU。

昇腾不支持Ollama吗?安装ollama没能识别NPU资源,在服务器上部署llama3.1文本生成时还用的是CPU资源。

Liunx下载ollama:curl -fsSL https://ollama.com/install.sh | sh之后:

cke_10529.png

如果要让OLlama基于昇腾NPU资源部署大模型,需要做哪些适配呢?是不是需要贵方亲自出手呢?

我要发帖子