华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我将蒸馏的1.5b的deepseek部署在Atlas 200I DK A2上,用ollama跑了一下,只用了cpu,没用到npu! 速度极慢。deepseek怎么能在开发套件上把NPU的算力调用起来??
我要发帖子
我将蒸馏的1.5b的deepseek部署在Atlas 200I DK A2上,用ollama跑了一下,只用了cpu,没用到npu!
速度极慢。deepseek怎么能在开发套件上把NPU的算力调用起来??