--- title: Atlas 800I A3 大EP场景下 TTFT 异常升高-官方技术文章-昇腾社区 description: Atlas 800I A3 服务器构建的大EP（大规模专家并行）推理解决方案中，DeepSeek-V3.1 等高性能大模型的性能表现至关重要。在近期针对 MindIE 2.2.RC1 版本及 HDK 25.2.3 的软件栈进行性能复现与基线对标时，发现特定高并发场景下，首字延迟出现显著劣化，偏离了预期的性能基线。 keywords: Atlas,EP,场景下,TTFT,异常升高,官方技术文章,昇腾社区,背景概述 url: https://www.hiascend.com/developer/techArticles/20260716-11 section: (其他) --- # Atlas 800I A3 大EP场景下 TTFT 异常升高-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20260716-11 描述: Atlas 800I A3 服务器构建的大EP（大规模专家并行）推理解决方案中，DeepSeek-V3.1 等高性能大模型的性能表现至关重要。在近期针对 MindIE 2.2.RC1 版本及 HDK 25.2.3 的软件栈进行性能复现与基线对标时，发现特定高并发场景下，首字延迟出现显著劣化，偏离了预期的性能基线。 关键词: Atlas,EP,场景下,TTFT,异常升高,官方技术文章,昇腾社区,背景概述 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) Atlas 800I A3 大EP场景下 TTFT 异常升高 Atlas 800I A3 大EP场景下 TTFT 异常升高 模型推理MindIE 发表于: 2026/07/16 67 0 ## 背景概述 Atlas 800I A3 服务器构建的大EP（大规模专家并行）推理解决方案中，DeepSeek-V3.1 等高性能大模型的性能表现至关重要。在近期针对 MindIE 2.2.RC1 版本及 HDK 25.2.3 的软件栈进行性能复现与基线对标时，发现特定高并发场景下，首字延迟出现显著劣化，偏离了预期的性能基线。 ## 问题现象 在保持服务配置无修改的前提下，通过压测工具对部署在 Atlas 800I A3 四机集群上的 DeepSeek-V3.1-w8a8c8 模型进行性能测试。 ● 软件环境：MindIE 2.2.RC1, HDK 25.2.3 ● 机器型号：Atlas 800I A3 四机集群 ● 异常表现：在特定高并发场景下，TTFT 指标显著升高，导致体验下降。而在低并发场景下，性能表现正常，符合基线预期。 ## 排查与分析 为了定位性能劣化的根本原因，从配置一致性、接口路径及并发参数三个维度进行了系统性排查。 ### 1. 基线配置复核 核对`user_config.json`、`mindie_a3_env.json`以及测试数据集、序列长度、并发数、EPLB 等关键配置进行了逐项核对。确认所有配置均与基线保持一致，排除了因服务配置错误或测试参数偏差导致性能劣化的可能性。 ### 2. 接口排查 考虑到现场部署采用了 MS实例主备方案，并通过 HAProxy 进行流量负载均衡，对比了不同接入点的性能表现： ● HAProxy 接口：压测结果显示 TTFT 异常升高。 ● Coordinator 接口：绕过 HAProxy，直接在 Coordinator 接口上进行压测，TTFT 恢复至基线水平。 初步结论：推理服务本身运行正常，性能瓶颈位于 HAProxy 负载均衡层。 ### 3. 参数定位 进一步分析发现，该问题仅在1024 输入长度、1024 输出长度、3072 并发的高并发场景下复现，低并发场景无此现象。 检查 HAProxy 初始化配置文件`haproxy_init.yaml`，发现关键参数`maxconn`配置值为2000。 ● 冲突点：测试场景的并发数为 3072，超过了 HAProxy 允许的最大连接数限制。 ● 影响机制：超出限制的新请求被 HAProxy 阻塞排队，导致请求等待时间增加，进而表现为 TTFT 升高。 ### 4. 验证 将`haproxy_init.yaml`中的`maxconn`参数调整为4000（确保大于业务最大并发数）后，重新进行压测，TTFT 指标立即恢复至基线水平。 ## 问题根因 在 MindIE 2.2.RC1 版本的大EP方案中，若采用 MS 主备部署架构，HAProxy 组件的`maxconn`参数默认配置为 2000。当业务并发请求数超过此阈值时，HAProxy 会拒绝或阻塞新连接，导致请求积压，从而引起 TTFT 显著升高。 ## 解决措施 临时规避：调整 haproxy_init.yaml 中的 maxconn 参数，确保其值大于业务最大并发数。 长期修复： 升级到25.3.0版本。在 25.3.0 大规模专家并行方案中，MS主备方案不再使用 HAProxy 组件，后继版本无影响。 ## 总结 在部署 Atlas 800I A3 的大EP推理服务时，需特别注意负载均衡组件的参数配置与业务并发量的匹配。对于使用 HAProxy 的场景，务必确保`maxconn`参数能够覆盖峰值并发需求。随着版本迭代，通过升级至 25.3.0+ 版本可获得更优的架构设计和开箱即用的性能体验。 边框设置 无框线 边距 宽度 1磅 颜色 自由布局设置 整体布局 子模块 评论 修订记录 对正文进行的文本增删、样式修改都将标记为修订 自定义多级列表 列表设置 - 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 1. - a. - i. - 1. - a. - i. - 1. - a. - i. 前缀 无 序号 1 2 3 ... 后缀 . 编号格式 列表显示 继承层级 不继承 位置 对齐方式 默认 单元格边距 边距 默认 左边距 cm 右边距 cm 上边距 cm 下边距 cm 点赞 0 本页内容 背景概述 [了解详情](https://www.hiascend.com/#2K66nrISaDUMbjkusvyFwJ) 问题现象 [了解详情](https://www.hiascend.com/#4dqrMTA84VKELdHVcHGX80) 排查与分析 [了解详情](https://www.hiascend.com/#9bKrI8SIrGj6HJPbn0Sjd) 问题根因 [了解详情](https://www.hiascend.com/#3Pfqi6D7XJD6yPMoXkntXi) 解决措施 [了解详情](https://www.hiascend.com/#4o7zsIw7mqZ4wkgHllLMZx) 总结 [了解详情](https://www.hiascend.com/#3BW9vJzoQ5BcQ0VrSt3AnR)