部署deepseek专区,关于显存问题咨询
收藏回复举报
部署deepseek专区,关于显存问题咨询
t('forum.solved') 已解决
发表于2025-03-20 11:48:24
0 查看

问:以下1和2体现了Atlas800I A2部署deepseek所需显存大小;3、4、5、6、7、8只给出了设备型号,没有明确说明Atlas800I A2、300I DUO、300V的显存大小,是否默认为最大显存(64GB、96GB、24GB)?若不是,则分别所需显存大小为多少?

​​​​​​​

1、部署DeepSeek-R1模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。

2、部署DeepSeek-V3模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。

3、部署DeepSeek-R1-Distill-Qwen-32B模型至少至少需要1台Atlas 800I A2服务器或者1台插2张Atlas 300I DUO卡的服务器

4、部署DeepSeek-R1-Distill-Llama-70B模型至少需要1台Atlas 800I A2服务器

5、部署DeepSeek-R1-Distill-Qwen-7B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器

6、部署DeepSeek-R1-Distill-Qwen-14B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插2张Atlas 300I Pro推理卡的服务器或者1台插2张Atlas 300V视频解析卡的服务器

7、部署DeepSeek-R1-Distill-Llama-8B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器

8、部署DeepSeek-R1-Distill-Qwen-1.5B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器

我要发帖子