华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
vllm的文档中我看到有8台Atlas 800 A2部署GLM5.2的p/d分离示例,我只有6台Atlas 800 A2,通过调整参数,能不能跑起来呢
https://docs.vllm.ai/projects/ascend/zh-cn/latest/tutorials/models/GLM5.2.html#
我要发帖子
vllm的文档中我看到有8台Atlas 800 A2部署GLM5.2的p/d分离示例,我只有6台Atlas 800 A2,通过调整参数,能不能跑起来呢
https://docs.vllm.ai/projects/ascend/zh-cn/latest/tutorials/models/GLM5.2.html#