昇腾社区首页
中文
注册

MindIE

MindIE(Mind Inference Engine,昇腾推理引擎)是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力,支撑用户多样化的AI业务需求,使能百模千态,释放昇腾硬件设备算力。向上支持多种主流AI框架,向下对接不同类型昇腾AI处理器,提供多层次编程接口,帮助用户快速构建基于昇腾平台的推理业务。

  • 版本说明

    介绍MindIE当前版本的版本配套、新增特性、修改特性、删除特性、已知问题和已修复问题以及漏洞修补列表。

  • MindIE是什么

    介绍MindIE的总体架构,提供各组件的功能特性。

环境准备

  • MindIE安装指南

    介绍如何安装MindIE,提供MindIE的安装方案、安装开发环境以及安装完成后的配置、升级和卸载。

大模型开发

服务化集成部署

  • MindIE-Service开发指南

    介绍MindIE-Service的推理服务化能力,其中包括MindIE-Server和MindIE-Client组件,并详细介绍了各组件的功能以及应用场景的使用。

Pytorch编辑优化

  • MindIE-Torch开发指南

    介绍MindIE-Torch的工作原理,包括编程范式、动态shape模型编译、数据拷贝和模型推理、配套torch_npu使用以及API接口的使用说明。

引擎运行时

  • MindIE-RT开发指南

    介绍MindIE-RT的快速迁移、稳定精度以及极致性能的推理服务能力,并提供了API接口的使用说明和推理应用接口的使用方法。

参考