昇腾社区首页
支持
我的论坛主页
论坛首页
/
将deepseekv3量化为w4a16量化版本需要多少个节点算力才可以运行
收藏回复举报
将deepseekv3量化为w4a16量化版本需要多少个节点算力才可以运行
t('forum.solved') 已解决
发表于2026-01-04 14:58:53
0 查看
使用msit中的quant_deepseek.py脚本，使用一台512G显存的算力去跑w4a16的量化，一直OOM

我要发帖子

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。查看详情