框架选型 针对大语言模型推理，MindIE当前有三条推理框架组合方案的路线可供选择，三者都需要经过MindIE LLM的ATB Models模块，三条路线各有优劣势，具体可以根据用户使用场景选择。 图1 路线框架图 表1 路线介绍说明路线 典型场景 链接 路线1：MindIE Service + MindIE LLM + PyTorch 极致性能：在MindIE Service接口能够满足需求时，要求极致性能，推荐此路线。 请参见《MindIE Service开发指南》的“产品简介”章节。 路线2：vLLM+ MindIE LLM + PyTorch 接口丰富：用户AI应用，要求服务化接口功能齐全，推荐此路线。 请参见《MindIE LLM开发指南》的“服务化调度推理使用流程 > vLLM基于Text Generator接口开发指南 > 快速介绍”章节。 路线3：MindIE Service + MindIE LLM + MindSpore 全栈可控：用户对于自主可控的诉求强烈，推荐此路线。 请参见《MindIE LLM开发指南》的“模型推理使用流程 > MindSpore Models使用 > MindSpore Models服务化使用”章节。 父主题： 模型开箱
