基于PyTorch模型的在线推理

DataFlow可以结合多种深度学习框架进行模型的训练或在线推理，来达到提高模型吞吐的目的。以PyTorch为例，在使用PyTorch进行模型在线推理时，通常会经过预处理、模型推理以及后处理三个步骤，其中模型推理又可以根据模型结构拆分成多个串行执行的子模型。

根据上述业务逻辑，DataFlow能够将预处理、多个子模型推理以及后处理封装成能够异步执行的多个FuncProcessPoint，并通过异步队列将它们间的数据流串接起来，如下图所示：

通过将原始串行执行流程转换为一张FlowGraph图，在进行多轮推理时，能够使能不同模块间的异步流水，从而提升应用的整体吞吐，样例代码请参考完整样例参考。