有一个需求,在300I-Duo芯片上,将qwen2.5-32B和qwen2.5-7B同时运行在0,1,2,3号芯片上,无法成功
收藏回复举报
有一个需求,在300I-Duo芯片上,将qwen2.5-32B和qwen2.5-7B同时运行在0,1,2,3号芯片上,无法成功
t('forum.solved') 已解决
发表于2025-05-21 16:36:43
0 查看
有一个需求,在300I-Duo芯片上,将qwen2.5-32B和qwen2.5-7B同时运行在0,1,2,3号芯片上,但以基础参数只运行其中一个模型,每张芯片显存就占到了86%左右,在mindie镜像中/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json文件中没有找到可以控制运行时限制显存使用情况的参数,调其他参数也未生效,请问有什么办法吗?

我要发帖子