昇腾论坛

点赞

收藏

回复

举报

双机16卡64G跑 DeepSeekR1 w8a8量化怎么支持64K上下文?

已解决

新人帖

发表于2025-05-27 11:10:20

0 查看

现在有两台昇腾910B2的机器, 每台机器8卡, 每卡64G, 现在跑DeepSeekR1 w8a8量化模型, 只能跑到32K, 提升不上去, 希望可以支持到64K上下文

匿名回复

我要发帖子