新增特性
组件 |
描述 |
目的 |
|---|---|---|
MindSpeed LLM |
新增模型支持 |
发布DeepSeek-V3、DeepSeek-R1-Distill以及HunyuanLarge系列模型。 |
后训练算法支持 |
Qwen2.5全参微调与lora微调支持，支持QLoRA微调训练。 |
|
MindSpeed MM |
新增模型支持 |
新增支持SD3.5、CogvideoX1.5、Hunyuan Video、InternVL2.5、InternVL2、Qwen2VL等模型。 |
Qwen2VL系列模型适配 |
Qwen2VL 72B支持LoRA、DPO。 Qwen2VL 7B支持视频理解。 |
|
生成模型并行能力增强 |
OpenSoraPlan1.3模型支持USP、VPP、VAE-CP、Encoder-DP。 CogVideoX 5B模型支持分层zero、Encoder-DP、VAE-CP。 |
|
理解模型并行能力增强 |
Qwen2VL 72B支持非对齐SP和CP。 |
|
框架优化 |
多模态理解任务训练入口统一，多模态生成任务新增数据集断点续训功能。 |
|
MindSpeed Core |
兼容Megatron-LM core_r0.8.0 |
从计算性能、内存资源、通信性能及并行算法等多个维度，全面提升大模型训练的效率与稳定性。 |
新增支持自适应HCCL Buffer 新增支持非对齐TP、SP、Ulysses CP |
父主题： 2.0.0更新说明