昇腾社区首页
中文
注册
开发者
下载

场景介绍

本节给出编译运行Graph的几种典型业务场景,用户可以根据实际情况选择需要进行的业务。

表1 编译和运行Graph场景

场景

功能说明

产品支持情况

编译Graph为离线模型

把Graph编译并保存为om离线模型,编译生成的离线模型通过acl接口加载并执行模型推理。

详细介绍请参考应用开发指南 (C&C++)手册中的模型管理章节。

ALL

编译并直接运行Graph

构建完Graph之后,直接编译并运行Graph使用AddGraph接口加载Graph对象;运行Graph时,根据调用接口不同,分为如下两种情况:

  • 同步执行Graph:加载完后,使用RunGraph同步运行Graph,得到图的执行结果
  • 异步执行Graph:加载完后,使用RunGraphWithStreamAsync异步运行Graph,得到图的执行结果

Atlas 推理系列产品 :支持

Atlas 训练系列产品 :支持

Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 /A200I A2 Box 异构组件:支持

Atlas A3 训练系列产品 / Atlas A3 推理系列产品 :支持

Atlas 200I/500 A2 推理产品 :不支持

编译Graph为离线模型并运行Graph(大模型分布式编译切分场景)

首先编译出可用于分布式部署的om离线模型,然后使用LoadGraph接口加载模型,最后使用RunGraph运行加载了该模型的Graph,得到图的执行结果。

Atlas 推理系列产品 :支持

Atlas 训练系列产品 :支持

Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 /A200I A2 Box 异构组件:支持

Atlas A3 训练系列产品 / Atlas A3 推理系列产品 :支持

Atlas 200I/500 A2 推理产品 :不支持

编译Graph为离线模型

该场景把Graph编译并保存为om离线模型,具体流程如图1所示,详细业务介绍请参见编译Graph为离线模型

图1 模型构建流程

编译并直接运行Graph

完成构建Graph及Graph编译运行的具体流程如图2所示。详细业务介绍请参见编译并运行Graph

图2 编译并直接运行流程图

编译Graph为离线模型并运行Graph(大模型分布式编译切分场景)

具体流程如图3所示。详细业务介绍请参见编译Graph为离线模型并运行Graph(大模型分布式编译切分)

图3 运行流程