MindIE Server 部署 Qwen2-7B 模型时请求超时,并发数已调至最低仍无响应?​
收藏回复举报
MindIE Server 部署 Qwen2-7B 模型时请求超时,并发数已调至最低仍无响应?​
t('forum.solved') 已解决
发表于2026-06-22 16:00:22
0 查看
大家好!我在 Atlas 800T A2 服务器上部署 MindIE Server+Qwen2-7B 模型,用于处理文本生成任务。测试时发现,即使将 Benchmark 的 Concurrency 参数降至 5(已低于官方建议的最低值),仍有 30% 的请求出现超时无响应,日志未显示报错信息,仅提示「请求队列积压」。​

服务器配置:8 张 Ascend 910 芯片,内存 1TB,系统为 openEuler 22.03 LTS。已按照文档配置了模型缓存和并发控制参数,但问题依然存在。想请教:是否有其他性能优化方向?比如调整 NPU 内存分配、优化模型加载策略,或者修改服务端的超时阈值?另外,高并发场景下 MindIE Server 的最佳配置方案是什么?

我要发帖子