华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
如题,我使用gpustack的镜像部署DeepSeek-R1-Distill-Qwen-32B模型,分配了两张 300I duo 的显卡,gpustack中使用的是MindIE 2.0 R1 的环境启动的模型。测速只有 7.88 token/s。不知道这个速度是否正常,想看看大家的速度是什么样的。
我要发帖子
如题,我使用gpustack的镜像部署DeepSeek-R1-Distill-Qwen-32B模型,分配了两张 300I duo 的显卡,gpustack中使用的是MindIE 2.0 R1 的环境启动的模型。测速只有 7.88 token/s。不知道这个速度是否正常,想看看大家的速度是什么样的。
测速结果