MindIE Service是昇腾MindIE的服务化组件，提供了服务化API接口的能力，并适配了第三方TGI、Triton等API接口规范，同时提供了批处理、任务调度等能力

MindIE LLM是大语言模型加速套件，不仅支持对接MindIE Service，也支持对接第三方的服务化框架，如TGI、vLLM和Triton，在内存、通信、编解码等层面上提供了内存压缩，解码优化，混合并行加速等一系列加速技术，可以实现更大吞吐、更低时延

MindIE Turbo是昇腾为所有推理引擎提供的通用昇腾硬件加速套件，在内存、通信、编解码等层面上提供加速，达到更大的吞吐、更低的时延。目前首发版本支持了vLLM的加速，其他引擎加速敬请期待

昇腾推理支持第三方加速引擎，通过vLLM Ascend全面支持开源vLLM框架运行推理，也支持客户自研引擎，并提供通用加速组件MindIE Turbo提供性能加速（非必选）

MindIE Turbo是昇腾为所有推理引擎提供的通用昇腾硬件加速套件，在内存、通信、编解码等层面上提供加速，达到更大的吞吐、更低的时延。目前首发版本支持了vLLM的加速，其他引擎加速敬请期待