大家两张300I duo 跑DeepSeek-R1-Distill-Qwen-32B 的速度怎么样?
收藏回复举报
大家两张300I duo 跑DeepSeek-R1-Distill-Qwen-32B 的速度怎么样?
t('forum.solved') 已解决
新人帖
发表于2025-07-11 11:59:40
0 查看

如题,我使用gpustack的镜像部署DeepSeek-R1-Distill-Qwen-32B模型,分配了两张 300I duo 的显卡,gpustack中使用的是MindIE 2.0 R1 的环境启动的模型。测速只有 7.88 token/s。不知道这个速度是否正常,想看看大家的速度是什么样的。

测速结果

模型两张300I duo运行结果(token/s)一张 300I duo 运行结果(token/s)
DeepSeek-R1-Distill-Qwen-32B7.884.85
DeepSeek-R1-Distill-Qwen-14B10.3110.31

我要发帖子