mindie可以成功拉起服务化推理deepseek-r1-0528-w8a8
收藏回复举报
mindie可以成功拉起服务化推理deepseek-r1-0528-w8a8
t('forum.solved') 已解决
发表于2025-06-06 13:20:42
0 查看

两台8卡910b可以成功拉起服务化推理,配置文件只修改权重路径,其他和r1完全一致

权重:https://modelscope.cn/models/TensorLake/DeepSeek-R1-0528-W8A8

docker镜像:2.0.RC2-800I-A2-py311-openeuler24.03-lts

transformers:4.51.0

本帖最后由 匿名用户2025/06/06 15:54:48 编辑

我要发帖子