问:以下1和2体现了Atlas800I A2部署deepseek所需显存大小;3、4、5、6、7、8只给出了设备型号,没有明确说明Atlas800I A2、300I DUO、300V的显存大小,是否默认为最大显存(64GB、96GB、24GB)?若不是,则分别所需显存大小为多少?
1、部署DeepSeek-R1模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。
2、部署DeepSeek-V3模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。
3、部署DeepSeek-R1-Distill-Qwen-32B模型至少至少需要1台Atlas 800I A2服务器或者1台插2张Atlas 300I DUO卡的服务器
4、部署DeepSeek-R1-Distill-Llama-70B模型至少需要1台Atlas 800I A2服务器
5、部署DeepSeek-R1-Distill-Qwen-7B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器
6、部署DeepSeek-R1-Distill-Qwen-14B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插2张Atlas 300I Pro推理卡的服务器或者1台插2张Atlas 300V视频解析卡的服务器
7、部署DeepSeek-R1-Distill-Llama-8B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器
8、部署DeepSeek-R1-Distill-Qwen-1.5B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器
问:以下1和2体现了Atlas800I A2部署deepseek所需显存大小;3、4、5、6、7、8只给出了设备型号,没有明确说明Atlas800I A2、300I DUO、300V的显存大小,是否默认为最大显存(64GB、96GB、24GB)?若不是,则分别所需显存大小为多少?1、部署DeepSeek-R1模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。
2、部署DeepSeek-V3模型用BF16权重进行推理至少需要4台Atlas 800I A2(8*64G)服务器,用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (8*64G)。
3、部署DeepSeek-R1-Distill-Qwen-32B模型至少至少需要
1台Atlas 800I A2服务器或者1台插2张Atlas 300I DUO卡的服务器4、部署DeepSeek-R1-Distill-Llama-70B模型至少需要1台Atlas 800I A2服务器5、部署DeepSeek-R1-Distill-Qwen-7B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器6、部署DeepSeek-R1-Distill-Qwen-14B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插2张Atlas 300I Pro推理卡的服务器或者1台插2张Atlas 300V视频解析卡的服务器7、部署DeepSeek-R1-Distill-Llama-8B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器或者1台插1张Atlas 300I Pro推理卡的服务器或者1台插1张Atlas 300V视频解析卡的服务器8、部署DeepSeek-R1-Distill-Qwen-1.5B模型至少需要1台Atlas 800I A2服务器或者1台插1张Atlas 300I DUO卡的服务器