概述

简介

不局限于Caffe、Tensorflow等深度学习框架，用户可以通过开放的Ascend Graph编程接口，基于算子原型进行构图，并编译为离线模型，用于在昇腾AI处理器上进行离线推理。同时，也可以通过框架解析功能将主流的模型格式转换成CANN模型格式，从而隔离上层框架的差异，当前仅支持对Caffe/Tensorflow/ONNX原始框架模型的解析。

典型业务流程

网络模型定义格式大同小异，主要由Tensor、Node（Operator）、Graph组合而成。

• Tensor包括Tensor描述及数据两部分，Tensor描述包括了该Tensor的name、dtype、shape、format信息。
• Operator包括算子的name、type、输入、属性信息。
• Graph包括网络的name、算子列表、输入算子、输出算子。

用户调用Ascend Graph接口完成构图及图编译的具体流程如图1所示。

流程描述如下：

1. 系统初始化，申请资源。
2. Graph定义。
   1. 创建Graph对象。
   2. 循环获取权重信息，定义算子实例。
   3. 设置Graph的输入。
   4. 设置Graph的输出。
3. 编译生成适配昇腾AI处理器的离线模型，编译过程中会加载TBE内置算子库和自定义算子库。
4. 序列化保存离线模型到文件中。
5. 释放资源，构图流程结束。

整体开发流程