华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
使用了最新的docker在300I Duo进行部署,运行DeepSeek-R1-Distill-Qwen-7/32B模型
设置nproc_per_node=2时可以通过对话等测试,但当使用双卡进行部署时,依据文档设置了如下的环境变量,并修改nproc_per_node=4时
进行对话测试时会卡在,没有报错信息
发现卡2的显存利用率几乎没变化
请问如何debug?是否不支持48g 96g两张卡混合做推理?
我要发帖子
使用了最新的docker在300I Duo进行部署,运行DeepSeek-R1-Distill-Qwen-7/32B模型
设置nproc_per_node=2时可以通过对话等测试,但当使用双卡进行部署时,依据文档设置了如下的环境变量,并修改nproc_per_node=4时
进行对话测试时会卡在,没有报错信息
发现卡2的显存利用率几乎没变化
请问如何debug?是否不支持48g 96g两张卡混合做推理?