华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
昇腾论坛
0
/100
支持
消息
我的论坛主页
论坛首页
/
强烈要求华为能够移植ollama或vllm等推理软件到昇腾平台上,这样就可以满足几乎所有大模型的推理需求了!!!
点赞
0
收藏
0
回复
0
分享
举报
只看楼主
强烈要求华为能够移植ollama或vllm等推理软件到昇腾平台上,这样就可以满足几乎所有大模型的推理需求了!!!
已解决
新人帖
发表于2024-05-05 20:26:59
0
查看
如题,现在最终用户大多使用ollama或vllm等推理软件进行大模型的推理,如果华为能移植过来,将大大降低部署成本,扩大昇腾平台的适用范围。
匿名回复
发表
我要发帖子
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情