华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
两台8卡910b可以成功拉起服务化推理,配置文件只修改权重路径,其他和r1完全一致
权重:https://modelscope.cn/models/TensorLake/DeepSeek-R1-0528-W8A8
docker镜像:2.0.RC2-800I-A2-py311-openeuler24.03-lts
transformers:4.51.0
本帖最后由 匿名用户 于 2025/06/06 15:54:48 编辑
我要发帖子
两台8卡910b可以成功拉起服务化推理,配置文件只修改权重路径,其他和r1完全一致
权重:https://modelscope.cn/models/TensorLake/DeepSeek-R1-0528-W8A8
docker镜像:2.0.RC2-800I-A2-py311-openeuler24.03-lts
transformers:4.51.0