华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
手上有一台四卡300I DUO服务器,计划部署deepseek -r1-32B和deepseek -r1-70B模型用于推理和微调,有几个疑问请大佬帮忙看下:
1.300I DUO是否只支持fp16推理?
2.300I DUO对deepseek -r1-32B和deepseek -r1-70B做量化时只支持单卡不支持多卡量化吗?
3.推理时是否支持多卡推理?
4.可以用300I DUO做微调吗?
以上,烦请各位大佬赐教
我要发帖子
手上有一台四卡300I DUO服务器,计划部署deepseek -r1-32B和deepseek -r1-70B模型用于推理和微调,有几个疑问请大佬帮忙看下:
1.300I DUO是否只支持fp16推理?
2.300I DUO对deepseek -r1-32B和deepseek -r1-70B做量化时只支持单卡不支持多卡量化吗?
3.推理时是否支持多卡推理?
4.可以用300I DUO做微调吗?
以上,烦请各位大佬赐教