300I DUO推理卡量化和推理问题求助
收藏回复举报
300I DUO推理卡量化和推理问题求助
t('forum.solved') 已解决
发表于2025-02-20 19:46:16
0 查看

手上有一台四卡300I DUO服务器,计划部署deepseek -r1-32B和deepseek -r1-70B模型用于推理和微调,有几个疑问请大佬帮忙看下:

1.300I DUO是否只支持fp16推理?

2.300I DUO对deepseek -r1-32B和deepseek -r1-70B做量化时只支持单卡不支持多卡量化吗?

3.推理时是否支持多卡推理?

4.可以用300I DUO做微调吗?

以上,烦请各位大佬赐教

我要发帖子