简介

产品介绍

MindIE Motor是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。

MindIE Motor的组件包括MindIE Service Tools、MindIE Client、集群管理组件（Deployer、Controller和Coordinator），通过对接昇腾推理加速引擎带来大模型在昇腾环境中的性能提升，并逐渐以高性能和易用性牵引用户向MindIE原生推理服务化框架迁移。其架构图如图1所示。

图1 MindIE Motor架构图

• MindIE Motor提供推理服务化部署和运维能力。
  • MindIE Service Tools：昇腾推理服务化工具；主要功能有大模型推理性能测试、精度测试、可视化以及自动寻优的能力，并且支持通过配置提升吞吐。
  • MindIE Client：昇腾推理服务化完整的Client客户端；配套昇腾推理服务化Server提供完整的推理服务化能力，包括对接Server的通信协议、请求和返回的接口，提供给用户应用对接。
  • Deployer：部署器，底层集成Kubernetes（简称K8s）生态，主要支持对Server服务集群的一键式部署管理。
  • Controller：控制器，完成集群内所有Server的业务状态管控、PD身份管理与决策、资源管理决策等，是整个集群的状态管控器和决策大脑。
  • Coordinator：调度器，是用户推理请求的入口，接收高并发的推理请求，进行请求调度、请求管理、请求转发等，是整个集群的数据请求管理入口。
  • MindIE Backends：支持昇腾MindIE LLM后端。
• MindIE LLM：提供大模型推理能力，同时提供多并发请求的调度功能。