昇腾模型套件与加速库
名称 |
介绍 |
版本要求 |
适配说明 |
|---|---|---|---|
MindSpeed |
MindSpeed是针对华为昇腾设备的大模型加速库。 大模型训练是一种非常复杂的过程，涉及到许多技术和挑战，其中大模型训练需要大量的显存资源是一个难题，对计算卡提出了不小的挑战。 为了在单个计算卡显存资源不足时，可以通过多张计算卡进行计算，业界出现了类似 Megatron、DeepSpeed 等第三方大模型加速库，对模型、输入数据等进行切分并分配到不同的计算卡上，最后在通过集合通信对结果进行汇总。 昇腾提供MindSpeed加速库，使能客户大模型业务快速迁移至昇腾设备，并且支持昇腾专有算法，确保开箱可用。 |
||
ModelLink |
ModelLink旨在为华为昇腾芯片上的大语言模型提供端到端的解决方案, 包含模型，算法，以及下游任务。 |
Python版本：3.8 驱动版本：Ascend HDK 24.1.RC2 固件版本：Ascend HDK 24.1.RC2 CANN版本：CANN 8.0.RC2 torch版本：2.1.0、2.2.0 torch_npu版本：release v6.0.RC2 |
|
ModelZoo-PyTorch |
ModelZoo，昇腾旗下的开源AI模型平台，涵盖计算机视觉、自然语言处理、语音、推荐、多模态、大语言模型等方向的AI模型及其基于昇腾机器实操案例。平台的每个模型都有详细的使用指导。 |
各个模型版本要求不同，具体参考各模型库。 |
|
ModelZoo-GPL |