MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件,同时支持多模态生成及多模态理解。它旨在为华为昇腾芯片提供端到端的多模态训练解决方案,并包含预置业界主流模型,数据工程,分布式训练及加速,预训练、微调、在线推理任务等特性。 MindSpeed MM 昇腾多模态训练解决方案整体架构如下图,整体分为三个层次: - 昇腾基础软硬件。包括昇腾AI处理器、昇腾服务器等硬件,为海量多模态数据计算与模型训练提供强大的并行算力;CANN(Compute Architecture for Neural Networks),作为昇腾AI处理器的软件引擎,提供了高度优化的基础算子和通信库(HCCL