昇腾社区首页
中文
注册

MindIE

MindIE(Mind Inference Engine,昇腾推理引擎)是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力,支撑用户多样化的AI业务需求,使能百模千态,释放昇腾硬件设备算力。向上支持多种主流AI框架,向下对接不同类型昇腾AI处理器,提供多层次编程接口,帮助用户快速构建基于昇腾平台的推理业务。

  • 版本说明

    介绍MindIE当前版本的版本配套、新增特性、修改特性、删除特性、已知问题和已修复问题以及漏洞修补列表。

  • MindIE是什么

    介绍MindIE的总体架构,提供各组件的功能特性以及MindIE支持的模型列表和业务场景

环境准备

  • MindIE安装指南

    介绍如何安装MindIE,提供MindIE的安装方案、安装开发环境以及安装完成后的配置、升级和卸载。

大模型开发

  • MindIE LLM开发指南

    介绍模型推理使用流程,提供了量化、长序列、多机特性的介绍以及API接口的使用说明。

服务化集成部署

  • MindIE Service开发指南

    介绍MindIE Service的推理服务化能力,其中包括MindIE MS、MindIE Server、MindIE Client和MindIE Benchmark组件,并详细介绍了各组件的功能以及应用场景的使用。

  • MindIE开源第三方服务化框架适配开发指南

    介绍MindIE推理引擎提供多层开放的接口,满足推理应用在各层接入的诉求,让用户能够按自身需求复用MindIE的推理加速能力。

Pytorch编辑优化

  • MindIE Torch开发指南

    介绍MindIE Torch的工作原理,包括编程范式、动态shape模型编译、数据拷贝和模型推理、配套torch_npu使用以及API接口的使用说明。

视图生成推理框架

  • MindIE SD开发指南

    介绍MindIE SD的视图生成功能,其主要功能模块包括SD Runtime、Model Factory、SD Pipeline、Modeling、Transformers/Diffusers和Distributed。

维护参考

参考