--- title: 科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理大EP，单卡吞吐提升超3倍，时延降低超50%-官方技术文章-昇腾社区 description: 近日，科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理，这是继DeepSeek公布其MoE模型训练推理方案后，业界首个基于自研算力的全新解决方案。 keywords: EP,科大讯飞率先,实现昇腾算力,大规模跨节点,专家并行集群,推理大,单卡吞吐提升,时延降低超 url: https://www.hiascend.com/developer/techArticles/20250311-1?envFlag=1 section: (其他) --- # 科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理大EP，单卡吞吐提升超3倍，时延降低超50%-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20250311-1?envFlag=1 描述: 近日，科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理，这是继DeepSeek公布其MoE模型训练推理方案后，业界首个基于自研算力的全新解决方案。 关键词: EP,科大讯飞率先,实现昇腾算力,大规模跨节点,专家并行集群,推理大,单卡吞吐提升,时延降低超 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) 科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理大EP，单卡吞吐提升超3倍，时延降低超50% 科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理大EP，单卡吞吐提升超3倍，时延降低超50% 大规模专家并行 发表于: 2025/03/11 近日，科大讯飞率先实现昇腾算力大规模跨节点专家并行集群推理，这是继DeepSeek公布其MoE模型训练推理方案后，业界首个基于自研算力的全新解决方案。 联合团队通过软硬件的深度协同创新，在多个关键技术层面深挖硬件潜力，完成昇腾集群上的验证和部署。在算子融合方面，团队在MLA预处理阶段通过Vector与Cube异构计算单元并行流水，并将多个小算子融合重构为原子级计算单元，消除小算子下发开销，MLA前处理时延降低50%+，实现性能的显著提升。 在混合并行策略和通信计算并行优化方面，团队构建了TP（张量并行）+EP（专家并行）混合范式：对MLA计算层采用机内TP并行，发挥机内高速互联优势，降低跨机通信损耗；创新MoE专家分层调度，64卡均衡分配专家计算节点，定制AllToAll通信协议，专家数据交换效率提升40%，构建跨机/机内双层通信架构，通过分层优化降低跨机流量60%；同时研发路由专家负载均衡算法，实现卡间负载差异小于10%，集群吞吐提升30%。 通过分布式架构创新与算法协同优化，联合团队在昇腾上实现了显著的性能提升。单卡静态内存占用缩减至双机部署的1/4，效率提升75%，专家计算密度增加4倍，推理吞吐提升3.2倍，端到端时延降低50%。 这一突破性的解决方案也将应用于讯飞星火深度推理模型的训练加速，预期训练时推理效率将提升200%。同时，基于该方案的推理引擎也实现了在昇腾上DeepSeek V3和R1的高效推理。 星河璀璨，未来已至——昇腾愿与科大讯飞及业界伙伴并肩，以AI，点亮千行百业。