昇腾社区首页
中文
注册
开发者
下载

产品堆栈

业务系统
MindSpeed
训练加速库
大模型套件
MindSpeed LLM
MindSpeed MM
MindSpeed RL
加速模块
MindSpeed Core
昇腾系列硬件
MindSpeed LLM
针对昇腾硬件推出的大语言模型套件。提供了开箱即用的主流开源大模型,支持预训练全参微调低参微调等算法,完备的数据预处理、权重转换多样评估方式的工具链支持。提升用户在昇腾硬件上高效、便捷地开发与使用大型语言模型的能力
获取源码

开发场景

大语言模型
主流大语言模型开箱即用,数据预处理、训练、微调、偏好对齐全流程支持
多模态模型
预置多模态理解与生成领域主流模型,实现开箱即用,并提供了丰富的多模态数据处理功能以及大规模分布式训练能力,支持灵活组装搭建定制模型
强化学习模型
聚焦强化学习训练场景,提供端到端训推一体化方案,支持昇腾集群灵活部署,实现开箱即用,通过技术优化全面提升分布式训推效率

关键特性

长序列分布式训练加速
MindSpeed多维优化,支持百万级长序列训练
并行优化
同时支持三种上下文并行算法兼容MoE专家并行
计算优化
支持Flash Attenting
内存优化
ALiBi、Reset Attention Mask压缩
通信优化
P2P分流并发