华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
手头有一台 鲲鹏920 * 2/ Atlas 300I Duo 推理卡 96GB * 4 /512GB内存的AI推理服务器,想用此服务器部署DS70B模型和32B模型,有些问题想咨询下:
1.MindIE是否支持300IDUO部署32B及70B模型?(社区好像有很多帖子指导,但是官方文档显示不支持),如果支持有没有指导文档?
2.300IDUO推理时能支持多卡推理吗,社区好像部分帖子说只能单卡推理。
我要发帖子
手头有一台 鲲鹏920 * 2/ Atlas 300I Duo 推理卡 96GB * 4 /512GB内存的AI推理服务器,想用此服务器部署DS70B模型和32B模型,有些问题想咨询下:
1.MindIE是否支持300IDUO部署32B及70B模型?(社区好像有很多帖子指导,但是官方文档显示不支持),如果支持有没有指导文档?
2.300IDUO推理时能支持多卡推理吗,社区好像部分帖子说只能单卡推理。