模型推理

• 推理应用开发流程
  本节介绍基于AscendCL接口开发基础推理应用的开发流程。
• 模型构建
  对于开源框架的网络模型（如ONNX、TensorFlow等），不能直接在昇腾AI处理器上做推理，需要先使用ATC（Ascend Tensor Compiler）工具将开源框架的网络模型转换为适配昇腾AI处理器的离线模型（*.om文件）。
• 单Batch&静态Shape输入推理
  
• 多Batch模型推理
  
• 异步模型推理
  本节介绍异步推理接口如何与Callback配合使用，每隔一段时间下发一次Callback任务，获取前一段时间内的异步推理结果。
• 多模型串联推理
  
• 队列方式模型推理
  本节介绍如何基于队列加载模型、准备模型输入数据、获取模型推理输出数据。
• 模型动态AIPP推理
  
• 模型动态Shape输入推理