新增特性
组件 |
描述 |
目的 |
---|---|---|
MindSpeed LLM |
新增模型支持 |
新增DeepSeekV3、Qwen3、Mamba2系列模型支持。 |
新增训练后端支持 |
增加MindSpore训练后端支持。 |
|
MindSpeed MM |
新增模型支持 |
新增Wan2.1、DeepSeek VL2、Qwen2.5-Omni、HunYuanVideo I2V LoRA、Qwen2.5 VL GRPO等模型支持。 |
新增后端支持 |
增加MindSpore训练后端支持。 |
|
新增特性支持 |
|
|
MindSpeed RL |
新增GRPO-DeepSeek-R1 |
性能200TPS,正常训练。 |
新增GRPO训练 |
支持QWen稠密GRPO训练。 |
|
MindSpeed Core |
兼容Megatron-LM core0.12.1 |
继承MindSpeed Core关键加速特性。 |
新增支持DeepSeekV3关键加速特性 |
新增支持DualPipeV、1F1B Overlap、SwapOptimizer、Virtual Optimizer等特性。 |
|
新增多模态特性支持 |
新增非均匀切分RingAttention、HybridCP、dot production attention支持VLM等。 |
|
新增训练后端支持 |
|
父主题: 2.1.0更新说明