昇腾模型加速库
名称 |
介绍 |
版本要求 |
适配说明 |
---|---|---|---|
MindSpeed Core |
MindSpeed Core是针对华为昇腾设备的大模型加速库。 大模型训练是一种非常复杂的过程,涉及到许多技术和挑战,其中大模型训练需要大量的显存资源是一个难题,对计算卡提出了不小的挑战。为了在单个计算卡显存资源不足时,可以通过多张计算卡进行计算,业界出现了类似Megatron、DeepSpeed等第三方大模型加速库,对模型、输入数据等进行切分并分配到不同的计算卡上,最后再通过集合通信对结果进行汇总。 昇腾提供MindSpeed Core加速库,使能客户大模型业务快速迁移至昇腾设备,并且支持昇腾专有算法,确保开箱可用。 |
Python版本:3.9、3.10 CANN版本:CANN 8.2.RC1 PyTorch版本:2.1.0、2.6.0 torch_npu版本:7.1.0 |
父主题: 昇腾模型套件与加速库