完整样例参考
Sample名称 |
代码地址 |
场景说明 |
---|---|---|
sample_multiple_model |
多模型串接下沉执行。使用FuncProcessPoint和GraphProcessPoint构造DataFlow图,通过将GraphProcessPoint执行的onnx、pb模型下沉到device,减少host和device之间控制面、数据面交互,提高执行性能。 |
|
sample_pytorch |
sample_pytorch:DataFlow结合PyTorch做模型在线推理。将原来预处理、模型推理、后处理的串行执行流程改造成能够异步流水执行的FlowGraph,从而提升推理整体的吞吐。 |
|
sample_npu_model |
针对sample_pytorch的优化,增加了对PyTorch模型节点的数据下沉或者模型下沉。 |
父主题: 快速入门