昇腾模型套件与加速库
名称 |
介绍 |
版本要求 |
适配说明 |
|---|---|---|---|
MindSpeed |
MindSpeed是针对华为昇腾设备的大模型加速库。 大模型训练是一种非常复杂的过程，涉及到许多技术和挑战，其中大模型训练需要大量的显存资源是一个难题，对计算卡提出了不小的挑战。为了在单个计算卡显存资源不足时，可以通过多张计算卡进行计算，业界出现了类似Megatron、DeepSpeed等第三方大模型加速库，对模型、输入数据等进行切分并分配到不同的计算卡上，最后再通过集合通信对结果进行汇总。 昇腾提供MindSpeed加速库，使能客户大模型业务快速迁移至昇腾设备，并且支持昇腾专有算法，确保开箱可用。 |
||
MindSpeed LLM |
MindSpeed LLM旨在为华为昇腾AI处理器上的大语言模型提供端到端的解决方案，包含模型，算法，以及下游任务。 |
Python版本：3.8 CANN版本：CANN 8.1.RC1 PyTorch版本：2.1.0 torch_npu版本：release v7.0.0 |
|
MindSpeed MM |
MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件，同时支持多模态生成及多模态理解，旨在为华为昇腾AI处理器提供端到端的多模态训练解决方案, 包含预置业界主流模型，数据工程，分布式训练及加速，预训练、微调、在线推理任务等特性。 |
Python版本：3.8、3.10 CANN版本：CANN 8.1.RC1 PyTorch版本：2.1.0 torch_npu版本：release v7.0.0 |
|
ModelZoo-PyTorch |
ModelZoo，昇腾旗下的开源AI模型平台，涵盖计算机视觉、自然语言处理、语音、推荐、多模态、大语言模型等方向的AI模型及其基于昇腾机器实操案例。平台的每个模型都有详细的使用指导。 |
各个模型版本要求不同，具体参考各模型库。 |
|
ModelZoo-GPL |
|||
Driving SDK |
Driving SDK是基于昇腾NPU平台开发的适用于自动驾驶场景的算子和模型加速库，提供了一系列高性能的算子和模型加速接口，支持PyTorch框架。 |
PyTorch版本为2.1.0、2.3.1及以上。 Python版本为3.8及以上。 |
|
openMind |
openMind Library是基于昇腾NPU平台的大模型微调套件，通过命令行接口或SDK支持微调、推理、评估和部署。通过简化使用流程，充分利用NPU的独特优势，为大模型应用提供高效、可扩展的解决方案。 |
Python版本：3.8~3.10 CANN版本：CANN 8.1.RC1 PyTorch版本：2.1.0 torch_npu版本：release v7.0.0 |