300I Duo单卡正常,双卡卡住?
收藏回复举报
300I Duo单卡正常,双卡卡住?
t('forum.solved') 已解决
发表于2025-03-03 22:26:36
0 查看

使用了最新的docker在300I Duo进行部署,运行DeepSeek-R1-Distill-Qwen-7/32B模型

设置nproc_per_node=2时可以通过对话等测试,但当使用双卡进行部署时,依据文档设置了如下的环境变量,并修改nproc_per_node=4时

cke_1450.png

进行对话测试时会卡在,没有报错信息

cke_13900.png

发现卡2的显存利用率几乎没变化

cke_20059.png
请问如何debug?是否不支持48g 96g两张卡混合做推理?

我要发帖子