请问,一台机器如何部署多个模型?MindIE不允许部署多个
收藏回复举报
请问,一台机器如何部署多个模型?MindIE不允许部署多个
t('forum.solved') 已解决
发表于2025-03-12 17:12:08
0 查看

目前我昇腾910b 有8张,最后一张给llamafactory做微调使用,占用了一张。然后我启用70b模型,配置0,1,2,3 四张卡使用,发现说卡被占用。我就很纳闷,明明0~3四张卡没有被使用,为什么说被占用呢,最后我把llamafactory关闭,模型就可以起来了。

那这样的话,MindIE很期待很霸道?8张卡都不能被使用吗?

我要发帖子