MindIE
- 大语言模型推理场景：
- 使用vLLM开源推理引擎：昇腾平台支持开源推理引擎如vLLM等，并为其提供推理加速。
- MindIE文本生成：通过MindIE LLM进行文本生成推理，服务化端到端推理全流程加速。
- 多模态模型推理场景：
- MindIE视图生成：通过MindIE SD进行高性能视图生成推理。
- 版本说明
介绍MindIE当前版本的版本配套、新增特性、修改特性、删除特性、已知问题和已修复问题以及漏洞修补列表。
- 快速入门
介绍MindIE的总体架构以及模型推理路线快速入门。
- 模型支持列表
介绍MindIE支持的模型。
使用vLLM开源推理引擎
MindIE文本生成
- MindIE文本生成推理快速入门
通过在Atlas 800I A2 推理服务器上使用MindIE LLM，快速使用MindIE进行文本生成推理。
- 模型支持列表
MindIE支持的大语言模型。
- MindIE安装指南
MindIE的安装、升级和卸载等操作指导。
- MindIE LLM开发指南
MindIE LLM是MindIE下的大语言模型推理组件。该文档介绍模型推理使用流程，提供量化、长序列、多机等特性的介绍以及API接口的使用说明。
- MindIE Motor开发指南
MindIE Motor是面向通用模型场景的推理服务化框架，包括MindIE Service Tools、MindIE Client、集群管理组件（Deployer、Controller和Coordinator）。该文档介绍MindIE Motor的推理服务化能力，各组件功能及应用场景。