强烈要求华为能够移植ollama或vllm等推理软件到昇腾平台上,这样就可以满足几乎所有大模型的推理需求了!!!
收藏回复举报
强烈要求华为能够移植ollama或vllm等推理软件到昇腾平台上,这样就可以满足几乎所有大模型的推理需求了!!!
t('forum.solved') 已解决
新人帖
发表于2024-05-05 20:26:59
0 查看
如题,现在最终用户大多使用ollama或vllm等推理软件进行大模型的推理,如果华为能移植过来,将大大降低部署成本,扩大昇腾平台的适用范围。

我要发帖子