简介

产品介绍

MindIE Motor是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。

MindIE Motor的组件包括MindIE Service Tools、MindIE Client、MindIE MS（MindIE Management Service）和MindIE Server，通过对接昇腾推理加速引擎带来大模型在昇腾环境中的性能提升，并逐渐以高性能和易用性牵引用户向MindIE原生推理服务化框架迁移。其架构图如图1所示。

图1 MindIE Motor架构图

• MindIE Motor提供推理服务化部署和运维能力。
  • MindIE Service Tools：昇腾推理服务化工具；主要功能有大模型推理性能测试、精度测试、可视化以及自动寻优的能力，并且支持通过配置提升吞吐。
  • MindIE Client：昇腾推理服务化完整的Client客户端；配套昇腾推理服务化MindIE Server提供完整的推理服务化能力，包括对接MindIE Server的通信协议、请求和返回的接口，提供给用户应用对接。
  • MindIE MS：服务策略管理，提供服务运维能力。主要功能包括模型Pod级和Pod内实例级管理、简化部署并提供服务质量管控、模型更新、故障重调度和自动扩缩负载均衡能力，不仅能够提升服务质量，同时也能提高推理硬件资源利用率。
  • MindIE Server：推理服务端；提供模型推理服务化能力，支持命令行部署RESTful服务。
    • EndPoint：提供RESTful接口；EndPoint面向推理服务开发者提供RESTful接口，推理服务化协议和接口封装，支持Triton/OpenAI/TGI/vLLM主流推理框架请求接口。
    • GMIS：模型推理调度器，提供多实例调度能力；实现从推理任务调度到任务执行的可扩展架构，适应各类推理方法。
    • BackendManager：模型执行后端，昇腾后端和自定义后端的管理模块；Backend管理模块面向不同推理引擎，不同模型，提供统一抽象接口，便于扩展，减少推理引擎、模型变化带来的修改。
  • MindIE Backends：支持昇腾MindIE LLM后端。
• MindIE LLM：提供大模型推理能力，同时提供多并发请求的调度功能。

支持的特性

当前版本PD分离部署特性存在部分场景限制，开启前请仔细评估应用场景是否满足。

• 支持第三方框架接口：兼容Triton/OpenAI/TGI/vLLM第三方框架接口，详情请参见EndPoint业务面RESTful接口章节。
• 支持Transformer推理加速库（Ascend Transformer Boost）：支持基于Transformer推理加速库的模型接入，继承其加速能力，包括融合加速算子、量化等特性。
• 支持智能运维管理：支持服务管控和NPU故障重调度。详情请参见RESTful接口API。
• 支持自动精度性能测试：支持测试模型的性能、精度。详情请参见MindIE Benchmark章节。
• 支持PD分离部署：Prefill和Decode分别部署在不同的实例上，减少互相干扰，降低时延，提升吞吐。其部署方式请参见PD分离部署章节。
• 支持Multi LoRa、Function Call、SplitFuse等关键特性，详情请参见关键特性章节。