在线推理是在AI框架内执行推理的场景,例如在Tensorflow框架上,加载模型后,通过session.run执行推理。相比于离线推理场景,使用在线推理可以方便将原来基于Tensorflow框架做推理的应用快速迁移到昇腾AI处理器,适用于数据中心推理场景。
目前业界开源的深度学习框架(例如TensorFlow,PyTorch、Caffe等),定义模型的格式各有不同,例如TensorFlow通过自定义pb描述静态shape图和模型,PyTorch通过ONNX规范描述,因此需要通过统一的框架解析功能隔离上层框架差异,通过Parser模块完成解析并转换成昇腾AI处理器支持的CANN模型格式。 涉及的主要接口为: 解析TensorFlow模型:aclgrphParseTensorFlow 解析Caffe模型:aclgrphParseCaffe Atlas A2 训练系列产品 / Atlas