6台Atlas 800 A2能做GLM5.2的prefill和decode分离部署吗?
收藏回复举报
6台Atlas 800 A2能做GLM5.2的prefill和decode分离部署吗?
t('forum.solved') 已解决
新人帖
发表于2026-07-01 11:40:05
0 查看

vllm的文档中我看到有8台Atlas 800 A2部署GLM5.2的p/d分离示例,我只有6台Atlas 800 A2,通过调整参数,能不能跑起来呢

https://docs.vllm.ai/projects/ascend/zh-cn/latest/tutorials/models/GLM5.2.html#

我要发帖子