使用场景
针对自研服务化
MindIE Service
、三方服务化Triton,提供模型+调度能力,支持Continuous Batching动态调度。
父主题:
LLM Manager提供的Python接口