MindIE

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。

版本说明
介绍MindIE当前版本的版本配套、新增特性、修改特性、删除特性、已知问题和已修复问题以及漏洞修补列表。
MindIE是什么
介绍MindIE的总体架构，提供各组件的功能特性以及MindIE支持的模型列表和业务场景。

环境准备

MindIE安装指南
介绍如何安装MindIE，提供MindIE的安装方案、安装开发环境以及安装完成后的配置、升级和卸载。

大模型开发

MindIE LLM开发指南
介绍模型推理使用流程，提供了量化、长序列、多机特性的介绍以及API接口的使用说明。

服务化集成部署

MindIE Service开发指南
介绍MindIE Service的推理服务化能力，其中包括MindIE MS、MindIE Server、MindIE Client和MindIE Benchmark组件，并详细介绍了各组件的功能以及应用场景的使用。

Pytorch编辑优化

MindIE Torch开发指南
介绍MindIE Torch的工作原理，包括编程范式、动态shape模型编译、数据拷贝和模型推理、配套torch_npu使用以及API接口的使用说明。

视图生成推理框架

MindIE SD开发指南
介绍MindIE SD的视图生成功能，其主要功能模块包括SD Runtime、Model Factory、SD Pipeline、Modeling、Transformers/Diffusers和Distributed。

参考

通信矩阵
提供MindIE通信矩阵详细信息。
开源软件声明
提供MindIE开源软件声明详细信息。