300I Duo 单机双卡,能否通过两个 MindIE 镜像,同时在双卡上部署两个 deepseek 模型,而不是分别占用?
收藏回复举报
300I Duo 单机双卡,能否通过两个 MindIE 镜像,同时在双卡上部署两个 deepseek 模型,而不是分别占用?
t('forum.solved') 已解决
新人帖
发表于2025-03-31 15:58:35
0 查看

因应业务需求,目前通过 MindIE 镜像能够在一台单机双卡的 300I Duo 上,以:1张卡跑 Deepseek distill qwen 32B,另一张卡跑 qwen2.5-7b 的方式运行模型服务,但是对算力的利用率不算很高。

有没有办法能够通过控制显存占用的方式,将32B和7B的模型分别平摊在2张卡上,提高算力芯片的利用效率?

我要发帖子