MindIE
MindIE（Mind Inference Engine，昇腾推理引擎）是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能AI推理引擎。
- 大语言模型推理场景：
- 使用vLLM开源推理引擎：昇腾平台支持开源推理引擎如vLLM等，并为其提供推理加速。
- MindIE文本生成：通过MindIE LLM进行文本生成推理，服务化端到端推理全流程加速。
- 多模态模型推理场景：
- MindIE视图生成：通过MindIE SD进行高性能视图生成推理。
- 版本说明
介绍MindIE当前版本的版本配套、新增特性、修改特性、删除特性、已知问题和已修复问题以及漏洞修补列表。
- 快速入门
介绍MindIE的总体架构以及模型推理路线快速入门。
- 模型支持列表
介绍MindIE支持的模型。
使用vLLM开源推理引擎
MindIE文本生成
- MindIE文本生成推理快速入门
通过在Atlas 800I A2 推理服务器上使用MindIE LLM，快速使用MindIE进行文本生成推理。
- 模型支持列表
MindIE支持的大语言模型。
- MindIE安装指南
MindIE的安装、升级和卸载等操作指导。
- MindIE LLM开发指南
MindIE LLM是MindIE下的大语言模型推理组件。该文档介绍模型推理使用流程，提供量化、长序列、多机等特性的介绍以及API接口的使用说明。
- MindIE Service开发指南
MindIE Service是面向通用模型场景的推理服务化框架，包括MindIE MS、MindIE Server、MindIE Client和MindIE Benchmark等组件。该文档介绍MindIE Service的推理服务化能力，各组件功能及应用场景。