昇腾社区首页
中文
注册

昇腾模型加速库

表1 昇腾模型加速库

名称

介绍

版本要求

适配说明

MindSpeed Core

MindSpeed Core是针对华为昇腾设备的大模型加速库。

大模型训练是一种非常复杂的过程,涉及到许多技术和挑战,其中大模型训练需要大量的显存资源是一个难题,对计算卡提出了不小的挑战。为了在单个计算卡显存资源不足时,可以通过多张计算卡进行计算,业界出现了类似Megatron、DeepSpeed等第三方大模型加速库,对模型、输入数据等进行切分并分配到不同的计算卡上,最后再通过集合通信对结果进行汇总。

昇腾提供MindSpeed Core加速库,使能客户大模型业务快速迁移至昇腾设备,并且支持昇腾专有算法,确保开箱可用。

Python版本:3.9、3.10

CANN版本:CANN 8.2.RC1

PyTorch版本:2.1.0、2.6.0

torch_npu版本:7.1.0

具体使用方法请参考LINK