场景介绍 本节给出编译运行Graph的几种典型业务场景,用户可以根据实际情况选择需要进行的业务。 表1 编译和运行Graph场景 场景 功能说明 产品支持情况 编译Graph为离线模型 把Graph编译并保存为om离线模型,编译生成的离线模型通过acl接口加载并执行模型推理。 详细介绍请参考《应用开发指南 (C&C++)》手册中的“模型管理”章节。 ALL 编译并直接运行Graph 构建完Graph之后,直接编译并运行Graph,使用AddGraph接口加载Graph对象;运行Graph时,根据调用接口不同,分为如下两种情况: 同步执行Graph:加载完后,使用RunGraph同步运行Graph,得到图的执行结果。 异步执行Graph:加载完后,使用RunGraphWithStreamAsync异步运行Graph,得到图的执行结果。 Atlas 推理系列产品 :支持 Atlas 训练系列产品 :支持 Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 /A200I A2 Box 异构组件:支持 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 :支持 Atlas 200I/500 A2 推理产品 :不支持 编译Graph为离线模型并运行Graph(大模型分布式编译切分场景) 首先编译出可用于分布式部署的om离线模型,然后使用LoadGraph接口加载模型,最后使用RunGraph运行加载了该模型的Graph,得到图的执行结果。 Atlas 推理系列产品 :支持 Atlas 训练系列产品 :支持 Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 /A200I A2 Box 异构组件:支持 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 :支持 Atlas 200I/500 A2 推理产品 :不支持 编译Graph为离线模型 该场景把Graph编译并保存为om离线模型,具体流程如图1所示,详细业务介绍请参见编译Graph为离线模型。 图1 模型构建流程 编译并直接运行Graph 完成构建Graph及Graph编译运行的具体流程如图2所示。详细业务介绍请参见编译并运行Graph。 图2 编译并直接运行流程图 编译Graph为离线模型并运行Graph(大模型分布式编译切分场景) 具体流程如图3所示。详细业务介绍请参见编译Graph为离线模型并运行Graph(大模型分布式编译切分)。 图3 运行流程 父主题: 编译和运行Graph