华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
有人成功将蒸馏的1.5b的deepseek部署在Atlas 200I DK A2上了吗?
用ollama跑了一下只用了cpu,没用到npu,速度极慢。
20Tops/8G的硬件能否支撑1.5b的deepseek,请成功的大佬来帮帮
我要发帖子
有人成功将蒸馏的1.5b的deepseek部署在Atlas 200I DK A2上了吗?
用ollama跑了一下只用了cpu,没用到npu,速度极慢。
20Tops/8G的硬件能否支撑1.5b的deepseek,请成功的大佬来帮帮