华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
如图配置，我有4张卡，双核心卡，共计显存 8X21Gb=168GB 我用上述所有的卡去运行 qwen3-8B 报了显存不足的错误，为什么 ？硬件显存应该是远大于模型需要的显存的。
部署工具为 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts
主要配置如图
我要发帖子
点赞
收藏
回复
分享
举报
已解决 已解决
如图配置，我有4张卡，双核心卡，共计显存 8X21Gb=168GB 我用上述所有的卡去运行 qwen3-8B 报了显存不足的错误，为什么 ？硬件显存应该是远大于模型需要的显存的。
部署工具为 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts
主要配置如图