300 I DUO是否能用w8a16量化权重做推理
收藏回复举报
300 I DUO是否能用w8a16量化权重做推理
t('forum.solved') 已解决
发表于2025-02-25 18:25:25
0 查看

使用镜像版本:mindie-2.0.T3.1
问题:

①使用deepseek-r1-qwen-32B-w8a16权重,800IA2能拉起服务,300I DUO*8 (48G)不行。所以是否是300I DUO不支持w8a16权重的推理

     权重链接如下:https://www.modelscope.cn/models/luckfu/DeepSeek-R1-Distill-Qwen-32B-w8a16-mindie

我要发帖子