华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
使用镜像版本:mindie-2.0.T3.1 问题:
①使用deepseek-r1-qwen-32B-w8a16权重,800IA2能拉起服务,300I DUO*8 (48G)不行。所以是否是300I DUO不支持w8a16权重的推理
权重链接如下:https://www.modelscope.cn/models/luckfu/DeepSeek-R1-Distill-Qwen-32B-w8a16-mindie
我要发帖子
使用镜像版本:mindie-2.0.T3.1
问题:
①使用deepseek-r1-qwen-32B-w8a16权重,800IA2能拉起服务,300I DUO*8 (48G)不行。所以是否是300I DUO不支持w8a16权重的推理
权重链接如下:https://www.modelscope.cn/models/luckfu/DeepSeek-R1-Distill-Qwen-32B-w8a16-mindie