昇腾社区首页
中文
注册

流程说明

MindIE Motor包含两个部分,MindIE MS(MindIE Management Service)和MindIE Server。其中MindIE MS包含MS Controller和MS Coordinator,MindIE Server可以分为Prefill实例和Decode实例。其中MS Controller、MS Coordinator不需要使用NPU资源,MindIE Server需要NPU资源。

MindCluster集群调度组件支持MS Controller、MS Coordinator和MindIE Server组件分别运行在独立的Pod内。使用MindCluster集群调度组件进行MindIE Motor任务部署时,MS Controller、MS Coordinator以及MindIE Server中的每个实例分别以一个AscendJob进行部署,例如一个推理任务包含2个Prefill实例和1个Decode实例,则需要部署5个AscendJob。

了解PD分离服务部署的详细说明可参考《MindIE Motor开发指南》中的“集群服务部署 > PD分离服务部署”章节

使用流程

通过命令行使用MindCluster集群调度组件部署MindIE Motor推理任务时,使用流程如下图所示。

图1 使用流程