特性列表
为确保MindSpeed在昇腾设备上实现大模型训练的全方位加速与优化,以下特性列表概述了关键功能与优势,旨在从计算性能、内存资源、通信性能、并行算法以及关键场景等多个维度,全面提升大模型训练的效率与稳定性。
特性类别 |
特性说明 |
特性名称 |
Mcore |
Legacy |
---|---|---|---|---|
并行算法优化 |
提供昇腾亲和的多维度并行加速 |
|||
内存资源优化 |
支持高效内存算法,最大化性能无损 |
|||
通信性能优化 |
发挥极致通信性能,实现计算与通信并行 |
|||
计算性能优化 |
全场景高性能融合算子加速库,昇腾亲和优化 |
|||
多模态能力支持 |
提供多模态场景下的昇腾优化方案 |
|||
差异化能力支持 |
在长序列、权重保存、并行策略自动搜索等场景提供差异化能力 |
|||

- 目前MindSpeed支持Megatron MoE和Deepspeed MoE两种实现,可通过如下参数进行配置。
--moe-model-type deepspeed_moe # 使用DeepSpeed MoE实现方案 --moe-model-type megatron_moe # 使用Megatron MoE实现方案
- Mcore为当前主要演进分支,推荐使用。Mcore相较于Legacy,采用更加解耦和模块化的设计,提供更灵活的接口和底层功能,特别适合需要自定义训练过程的用户。
- Legacy基于传统Transformer架构优化,支持基础并行策略(数据/张量/流水线/序列并行),强调API稳定性和向后兼容性,缺乏对专家并行等新特性的支持。
父主题: 使用指导