华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
在服务器上安装ollama部署llama3.1进行推理任务,但是安装之后无法识别NPU。
昇腾不支持Ollama吗?安装ollama没能识别NPU资源,在服务器上部署llama3.1文本生成时还用的是CPU资源。
Liunx下载ollama:curl -fsSL https://ollama.com/install.sh | sh之后:
如果要让OLlama基于昇腾NPU资源部署大模型,需要做哪些适配呢?是不是需要贵方亲自出手呢?
我要发帖子
在服务器上安装ollama部署llama3.1进行推理任务,但是安装之后无法识别NPU。
昇腾不支持Ollama吗?安装ollama没能识别NPU资源,在服务器上部署llama3.1文本生成时还用的是CPU资源。
Liunx下载ollama:curl -fsSL https://ollama.com/install.sh | sh之后:
如果要让OLlama基于昇腾NPU资源部署大模型,需要做哪些适配呢?是不是需要贵方亲自出手呢?