昇腾社区首页
支持
消息
我的论坛主页
论坛首页
/
大模型推理使用多张 Atlas 卡，卡间负载不均，部分卡 OOM 部分卡空载，怎么均衡？
收藏回复举报
大模型推理使用多张 Atlas 卡，卡间负载不均，部分卡 OOM 部分卡空载，怎么均衡？
t('forum.solved') 已解决
新人帖
发表于2026-04-22 01:08:34
0 查看
使用 4 张 Atlas 300I 卡部署 LLaMA-7B 大模型推理，采用默认多卡并行策略，部分卡显存占用达 18GB（OOM 阈值 20GB），部分卡仅占用 5GB，算力利用率差异超过 60%

我要发帖子

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。查看详情