MindIE Motor CPP是面向LLM PD分离推理的请求调度框架,通过开放、可扩展的推理服务化平台架构提供推理服务化能力,向下对接MindIE LLM,满足大语言模型高性能推理需求。MindIE Motor CPP提供以下两个方面的能力: - PD分离的请求调度:主要将外部的客户请求分发到负载最低的Prefill/Decode实例上,起到负载均衡的作用; - RAS(Reliability、Availability和Serviceability):增强PD分离服务可靠性、可用性和可服务性的能力。 >[!NOTE]说明 >因技术架构升级需要,原 MindIE Motor 代码仓自 3.1