流程说明
MindIE Motor包含两个部分,MindIE MS(MindIE Management Service)和MindIE Server。其中MindIE MS包含MS Controller和MS Coordinator,MindIE Server可以分为Prefill实例和Decode实例。其中MS Controller、MS Coordinator不需要使用NPU资源,MindIE Server需要NPU资源。
MindCluster集群调度组件支持MS Controller、MS Coordinator和MindIE Server组件分别运行在独立的Pod内。使用MindCluster集群调度组件进行MindIE Motor任务部署时,MS Controller、MS Coordinator以及MindIE Server中的每个实例分别以一个AscendJob进行部署,例如一个推理任务包含2个Prefill实例和1个Decode实例,则需要部署5个AscendJob。
了解PD分离服务部署的详细说明可参考《MindIE Motor开发指南》中的“集群服务部署 > PD分离服务部署”章节。
使用流程
通过命令行使用MindCluster集群调度组件部署MindIE Motor推理任务时,使用流程如下图所示。
图1 使用流程


父主题: 通过命令行使用