典型业务流程
本节给出构图的几种典型业务场景,并给出每种场景下的交互流程。
网络模型定义格式大同小异,主要由Tensor、Node(Operator)、Graph组合而成。其中:
- Tensor包括Tensor描述及数据两部分,Tensor描述包括了该Tensor的name、dtype、shape、format信息。
- Operator包括算子的name、type、输入、属性信息。
- Graph包括网络的name、算子列表、输入算子、输出算子。
构图分为如下三种典型业务场景,用户可以根据实际情况选择需要进行的业务:
场景 |
功能说明 |
适用芯片 |
---|---|---|
把Graph编译并保存为om离线模型,编译生成的离线模型通过AscendCL接口加载并执行模型推理。 详细介绍请参见模型推理。 |
ALL |
|
构建完Graph之后,直接编译并运行Graph,使用AddGraph接口加载Graph对象:
|
Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品 |
|
大模型分布式编译切分场景使用。 首先编译出可用于分布式部署的om离线模型,然后使用LoadGraph接口加载模型,最后使用RunGraph运行加载了该模型的Graph,得到图的执行结果。 |
Atlas 推理系列产品 Atlas 训练系列产品 Atlas A2训练系列产品/Atlas 800I A2推理产品 |
父主题: 概述