使用场景

MindIE LLM接口和场景说明

• 服务化接入场景

  表1 服务化场景

  服务化框架	MindIE LLM子组件范围	能力说明	接口示意	接口形式
  MindIE Service	LLM Manager+TextGenerator+Modeling	LLM Manager+TextGenerator提供完整的CB+PA自回归推理调度能力	ITF 0.L1	C++ API
  Triton	LLM Manager+TextGenerator+Modeling	LLM Manager+TextGenerator提供完整的CB+PA自回归推理调度能力	ITF 0.L1	C++ API
  TGI	TextGenerator+Modeling	提供TextGenerator前后处理+Modeling推理能力	ITF 0.G1	Python API
  vLLM	TextGenerator+Modeling	提供TextGenerator前后处理+Modeling推理能力	ITF 0.G1	Python API

  

  • MindIE Service Backend为MindIE LLM到MindIE Service的适配层，避免MindIE LLM与MindIE Service有编译依赖，接口实现参考《MindIE Service开发指南》。
  • TGIBackend为MindIE LLM到第三方服务化TGI的适配层，接口实现参考TGI接口。
  • vLLMBackend为MindIE LLM到第三方服务化vLLM的适配层，接口实现参考vLLM接口。
  • 接口编号ITF 0.L1：ITF 0表示Interface 0，最外层接口；L1表示LLM Manager的第一个接口。
  • 接口编号ITF 0.G1：ITF 0表示Interface 0，最外层接口；G1表示Generator的第一个接口。
  • 接口权限请找技术支持获取。