推理应用接口软件架构

图构建

• 图构建部分核心任务为计算图Graph的生成，可以通过针对不同框架的Parser导入或手动构建。
• 提供计算图结构增删改API。
• 提供自定义算子（Custom Operator）注册入口。

图优化

• 图优化部分核心任务为对计算图的多层次编译优化，提高推理性能。
• 提供自定义Pass注册入口。

运行时

运行时提供了运行模型对象的接口以及运行环境。主要支持了以下功能：

• 能够脱离builder编译引擎独立部署。
• 支持模型推理结果的内存复用。
• 支持多任务队列的发射，并发执行。