新增特性
组件 |
描述 |
目的 |
|---|---|---|
MindSpeed LLM |
新增FSDP2支持 |
Qwen3-8B、Qwen3-30B支持FSDP2后端 |
新增微调慢思考支持 |
Qwen3-235B支持慢思考模式微调 |
|
仓库版本升级 |
仓库升级core0.12.1版本,支持PyTorch 2.7.1 |
|
MindSpeed MM |
新增FSDP2支持 |
Wan2.1、Wan2.2支持FSDP2后端 |
新增模态并行支持 |
支持Megatron和FSDP2后端的disttrain |
|
仓库版本升级 |
新增FSDP2支持 |
|
MindSpeed RL |
支持Verl |
patch支持Verl Qwen系列模型,GRPO,DAPO算法 |
MindSpeed Core |
支持Verl、Megatron训练后端 |
Qwen3-235B等模型使用Verl、Megatron后训练 |
DSK MLA支持CP |
DSK支持长序列训练 |
|
支持FSDP2、Custom-FSDP |
典型模型支持FSDP2、Custom-FSDP训练能力 |
父主题: 2.2.0更新说明