使用场景

针对自研服务化MindIE Service、三方服务化Triton,提供模型+调度能力,支持Continuous Batching动态调度。