昇腾社区首页
中文
注册

新增特性

组件

描述

目的

MindSpeed LLM

新增模型支持

新增DeepSeekV3、Qwen3、Mamba2系列模型支持。

新增训练后端支持

增加MindSpore训练后端支持。

MindSpeed MM

新增模型支持

新增Wan2.1、DeepSeek VL2、Qwen2.5-Omni、HunYuanVideo I2V LoRA、Qwen2.5 VL GRPO等模型支持。

新增后端支持

增加MindSpore训练后端支持。

新增特性支持

  • Wan2.1支持Async-Offload、TP、SP、VPP以及USP
  • Qwen2.5 Omni支持TP

MindSpeed RL

新增GRPO-DeepSeek-R1

性能200TPS,正常训练。

新增GRPO训练

支持QWen稠密GRPO训练。

MindSpeed Core

兼容Megatron-LM core0.12.1

继承MindSpeed Core关键加速特性。

新增支持DeepSeekV3关键加速特性

新增支持DualPipeV、1F1B Overlap、SwapOptimizer、Virtual Optimizer等特性。

新增多模态特性支持

新增非均匀切分RingAttention、HybridCP、dot production attention支持VLM等。

新增训练后端支持

  • 增加MindSpore训练后端支持
  • 新增支持TP、SP、PP、VPP、DP、Ulysses、激活重计算等关键特性