---
title: 基于PyTorch模型的在线推理
description: "DataFlow可以结合多种深度学习框架进行模型的训练或在线推理，来达到提高模型吞吐的目的。以PyTorch为例，在使用PyTorch进行模型在线推理时，通常会经过预处理、模型推理以及后处理三个步骤，其中模型推理又可以根据模型结构拆分成多个串行执行的子模型。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/others/dataflowdevg/dfdevp_23_0009.html
sourcePath: /source/zh/canncommercial/900/others/dataflowdevg/dfdevp_23_0009.html
indexId: 9b1b46e810972a19b03b9bf517e34b5313569daa0b9f9ba06d7fdc8058d3209669
---
# 基于PyTorch模型的在线推理

DataFlow可以结合多种深度学习框架进行模型的训练或在线推理，来达到提高模型吞吐的目的。以PyTorch为例，在使用PyTorch进行模型在线推理时，通常会经过预处理、模型推理以及后处理三个步骤，其中模型推理又可以根据模型结构拆分成多个串行执行的子模型。

根据上述业务逻辑，DataFlow能够将预处理、多个子模型推理以及后处理封装成能够异步执行的多个FuncProcessPoint，并通过异步队列将它们间的数据流串接起来，如下图所示：


通过将原始串行执行流程转换为一张FlowGraph图，在进行多轮推理时，能够使能不同模块间的异步流水，从而提升应用的整体吞吐量，样例代码请参考完整样例参考。