昇腾社区首页
中文
注册
开发者
下载

dump图详细信息

模型转换前,通过设置如下环境变量,dump出编译过程中的模型图,用户可以通过查看dump图观察模型的变化:

export DUMP_GE_GRAPH=1      #控制dump图的内容多少
export DUMP_GRAPH_LEVEL=1   #控制dump图的个数

在执行atc命令的当前路径会生成如下文件,关于环境变量的详细介绍请参见2

  • ge_onnx*.pbtxt:基于ONNX的模型描述结构,可以使用Netron等可视化软件打开。
  • ge_proto*.txt:protobuf格式存储的文本文件,该文件可以转成JSON格式文件方便用户定位问题。该文件与ge_onnx*.pbtxt一般成对出现,但是ge_proto*.txt比ge_onnx*.pbtxt文件会多string类型的属性信息,因此ge_proto*.txt显示的更完整,用户选择其中一种文件打开即可。

    由于ge_proto*.txt文件结构相比ge_onnx*.pbtxt已经做了文件大小的优化,因此DUMP_GE_GRAPH环境变量设置为2或3,对ge_proto*.txt文件效果相同,都显示为不含有权重等数据的基本版dump。

上述每个文件对应模型编译过程中的一个步骤,比如以ge_proto_xxxx_PreRunBegin.pbtxt开始,以ge_proto_xxxx_PreRunAfterBuild.pbtxt结尾。每个文件中包括完成该步骤所涉及的所有算子,关于dump图每个阶段的子图详细作用请参见表1(每个模型生成的dump子图可能不一致,但是主流程基本一致)。

表1 dump图详细信息说明

子图名称

所处阶段描述

是否白名单

ge_proto_xxxx_GraphPreRunBegin.txt

Graph编译前的图

-

ge_proto_xxxx_AfterFlowGraphPartition.txt

Flow切分后的图(flow切分是应用于DataFlow中的切分方式)

-

ge_proto_xxxx_AfterParallelPartitioner.txt

pipeline并行切分后的图(这里的pipeline指后端推理场景的PP)

-

ge_proto_xxxx_PreRunBegin.txt

原始图结构

白名单

ge_proto_xxxx_RunCustomPassBeforeInfershape.txt

在InferShape之前用户自定义Pass的出口图

白名单

ge_proto_xxxx_PreRunAfterInitPreparation.txt

经历了图准备阶段所有初始化处理之后的图结构

-

ge_proto_xxxx_PreRunAfterHandleSummaryOp.txt

对Summary节点做处理之后的图结构

-

ge_proto_xxxx_PrepareAfterCheckAndUpdateInput.txt

校验并更新图输入数据处理之后的图结构

-

ge_proto_xxxx_PrepareAfterGraphEquivalentTransformation.txt

将For循环图结构同等替换成While循环图结构处理之后的图结构

-

ge_proto_xxxx_PrepareAfterProcessOutput.txt

对图数据进行相关处理之后的图结构

-

ge_proto_xxxx_PrepareAfterOptimizeAfterGraphNormalization.txt

图标准化后图优化操作出口图

-

ge_proto_xxxx_PrepareAfterInsertAipp.txt

在配置了AIPP参数下,对图进行AIPP相关处理之后的图结构

-

ge_proto_xxxx_PrepareAfterProcessAippNodesDataFormat.txt

AIPP节点格式刷新出口图

-

ge_proto_xxxx_PreRunAfterNormalizeGraph.txt

图标准化出口图

白名单

ge_proto_xxxx_PreRunAfterOptimizeGraphInit.txt

图优化初始化出口图

-

ge_proto_xxxx_OptimizeGraph_TagNoConstFoldingAfter.txt

量化场景使用,FE会给算子打上不做常量折叠标签,GE在执行常量折叠时会判断此标签,如果存在,则不执行常量折叠

-

ge_proto_xxxx_HcclAfterOptimizeGraphPrepare.txt

HCCL图准备阶段优化后的图

-

ge_proto_xxxx_PreRunAfterOptimizeGraphPrepare.txt

经过各算子信息库原图准备处理(OptimizeGraphPrepare接口调用)之后的图结构

-

ge_proto_xxxx_PrepareAfterProcessBeforeInfershape.txt

对条件算子进行死边消除处理之后的图结构

-

ge_proto_xxxx_AfterFirstInferformat.txt

经过全图inferformat处理之后的图结构

-

ge_proto_xxxx_AfterInfershape.txt

经过全图infershape处理之后的图结构,会伴随常量折叠

白名单

ge_proto_xxxx_PrepareAfterInferFormatAndShape.txt

经历完所有InferFormat与InferShape处理之后的图结构,与上图间经历了第二次全图InferFormat

-

ge_proto_xxxx_RunCustomPass_AfterInferShape.txt

在InferShape之后用户自定义Pass的出口图

白名单

ge_proto_xxxx_AfterSecondInferformat.txt

第二次格式推导之后的图

-

ge_proto_xxxx_PrepareAfterCtrlFlowPreProcess.txt

对条件算子做预处理之后的图结构

-

ge_proto_xxxx_PrepareAfterGetDynamicOutputShape.txt

动态档位下,对图输出做处理之后的图结构

-

ge_proto_xxxx_PrepareAfterProcessAippStage2.txt

在AIPP模式下,对图输入节点做相关处理之后的图结构

-

ge_proto_xxxx_PrepareAfterPrepareOptimize.txt

在图准备阶段,做相关优化处理之后的图结构

-

ge_proto_xxxx_PreRunAfterPrepare.txt

目前和上张图相同,经历过所有图准备处理之后的图结构

白名单

ge_proto_xxxx_OptimizeQuantGraph_FeGraphFusionAfter.txt

图优化阶段的量化流程结束后的图结构

-

ge_proto_xxxx_OptimizeOriginalGraph_FeGraphFusionAfter.txt

图融合流程结束后的图结构

-

ge_proto_xxxx_OptimizeOriginalGraph_FeTopoSortingAfter.txt

图融合后进行拓扑排序,排查融合后是否成环的图结构

-

ge_proto_xxxx_OptimizeOriginalGraph_DSAFeOpJudgeAfter.txt

经过动态shape分析后的格式DataType和Format选择的图

-

ge_proto_xxxx_HcclBeforeOptimizeOriginalGraph.txt

HCCL原图优化之前的图

-

ge_proto_xxxx_HcclAfaterOptimizeOriginalGraph.txt

HCCL原图优化之后的图

-

ge_proto_xxxx_RunCustomPassAfterBuiltinFusionPass.txt

内部Pass之后用户自定义Pass的出口图

白名单

ge_proto_xxxx_PreRunAfterOptimizeOriginalGraph.txt

经过各算子信息库原图优化处理(OptimizeOriginalGraph接口调用)之后的图结构

白名单

ge_proto_xxxx_PrepareAfterUpdateInputOutputByUserOptions.txt

根据用户参数,对图输入输出做相关处理之后的图结构

-

ge_proto_xxxx_PrepareAfterUpdateVariableFormats.txt

对变量的Format进行相关处理之后的图结构

-

ge_proto_xxxx_PreRunAfterPrepareRunningFormatRefiner.txt

与上图相同

-

ge_proto_xxxx_BeforeOptimizeOriginalGraphJudgeInsert.txt

op_judge流程的入口图

-

ge_proto_xxxx_OptimizeOriginalGraph_FeOpDtypeJudgeAfter.txt

精度模式选择后的图

-

ge_proto_xxxx_PreRunAfterRefineRunningPrecision.txt

精度选择之后的图

-

ge_proto_xxxx_OptimizeOriginalGraph_FeOpFormatJudgeAfter.txt

格式选择后完整op_judge的图

-

ge_proto_xxxx_OptimizeOriginalGraph_FeDistHeavyFormatAfter.txt

重型算子扩散后的图结构

-

ge_proto_xxxx_OptimizeOriginalGraph_FeInsertTransNodeAfter.txt

插入转换算子后的图结构

-

ge_proto_xxxx_PreRunAfterRefineRunningFormat.txt

经过各算子信息库优化处理(OptimizeOriginalGraphJudgeInsert接口调用)之后的图结构

-

ge_proto_xxxx_PreRunAfterSubexpressionMigration.txt

动态分档场景下公共子表达式提取之后的图结构

-

ge_proto_xxxx_before_SameTransdataBreadthFusionPass.txt

SameTransdataBreadthFusionPass入口图

-

ge_proto_xxxx_after_SameTransdataBreadthFusionPass.txt

SameTransdataBreadthFusionPass出口图

-

ge_proto_xxxx_OptimizeStage1_1.txt

图优化1_1阶段处理之后的图结构

-

ge_proto_xxxx_OptimizeStage1_2.txt

图优化1_2阶段处理之后的图结构

-

ge_proto_xxxx_PreRunAfterOptimize1.txt

所有图优化1阶段处理之后的图结构

-

ge_proto_xxxx_PreRunAfterOptimizeAfterStage1.txt

经过各算子信息库优化处理(OptimizeAfterStage1接口调用)之后的图结构

白名单

ge_proto_xxxx_PreRunAfterInferShape2.txt

第二次InferShape处理之后的图结构

-

ge_proto_xxxx_BeforeStagePartition.txt

Stage切分前的图

-

ge_proto_xxxx_AfterStagePartition.txt

Stage切分后的图

-

ge_proto_xxxx_AfterEnginePlacer.txt

引擎选择完成后的图

-

ge_proto_xxxx_Before_DSP.txt

动静模型拆分前的图

-

ge_proto_xxxx_After_DSP.txt

动静模型拆分后的图

-

ge_proto_xxxx_AfterDynamicShapePartition.txt

动态shape图拆分之后的图结构

-

ge_proto_xxxx_MergedComputeGraphAfterCompositeEnginePartition.txt

经历对立子图拆分与子图优化处理之后的合并图结构

-

ge_proto_xxxx_partition0_rank0_inputNodeGraph_AtomicEnginePartitioning.txt

原子引擎规则图拆分后,输入节点子图的图结构

-

ge_proto_xxxx_partition0_rank1_new_sub_graph1_AtomicEnginePartitioning.txt

原子引擎规则图拆分后,子图1的图结构

-

ge_proto_xxxx_partition0_rank2_new_sub_graph110_AtomicEnginePartitioning.txt

原子引擎规则图拆分后,子图110的图结构

-

ge_proto_xxxx_OptimizeSubgraphPreProc.txt

子图优化预处理出口图

-

ge_proto_xxxx_DNN_VM_RTS_OptimizeSubGraphBefore.txt

-

-

ge_proto_xxxx_DNN_VM_RTS_OptimizeSubGraphAfter.txt

-

-

ge_proto_xxxx_AIcoreEngine_OptimizeSubGraphBefore.txt

AI Core子图优化入口图

-

ge_proto_xxxx_OptimizeSubGraphBefore.txt

子图优化操作前的子图结构,每张子图都有一份,同名不同序号,总个数根据子图个数确定

-

ge_proto_xxxx_OptimizeSubGraphAfter.txt

子图优化操作后的子图结构,每张子图都有一份,同名不同序号,总个数根据子图个数确定

-

ge_proto_xxxx_partition0_rank1_new_sub_graph1_lxfusion_input.txt

ATC场景和AOE baseline场景的sgat输入图

-

ge_proto_xxxx_partition0_rank1_new_sub_graph1_after_rebuild.txt

AOE sgat内部流程UB融合图

-

ge_proto_xxxx_AIcoreEngine_OptimizeSubGraphAfter.txt

AI Core子图优化出口图

-

ge_proto_xxxx_OptimizeSubgraphPostProc.txt

子图优化后处理出口图

-

ge_proto_xxxx_mergedComputeGraph.txt

图合并之后的图结构,与上图相同

-

ge_proto_xxxx_MergedComputeGraphAfterAtomicEnginePartition.txt

经历对立原子引擎拆分与子图优化处理之后的合并图结构

-

ge_proto_xxxx_PreRunAfterOptimizeSubgraph.txt

子图优化处理之后的图结构

白名单

ge_proto_xxxx_OptimizeWholeGraphaicpu_tf_optimizer.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphaicpu_ascend_optimizer.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphdvpp_graph_optimizer.txt

整图优化DVPP优化后出口图

-

ge_proto_xxxx_OptimizeWholeGraphhccl_alltoallvc_fusion_optimizer.txt

HCCL原图优化阶段融合优化后的图

-

ge_proto_xxxx_OptimizeWholeGraphAIcoreEngine.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphDSAEngine.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphhccl_graph_optimizer.txt

HCCL原图优化阶段优化的图

-

ge_proto_xxxx_OptimizeWholeGraphDNN_VM_RTS_GRAPH_OPTIMIZER_STORE.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphDNN_VM_RTS_FFTS_PLUS_GRAPH_OPTIMIZER_STORE.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphDNN_VM_HOST_CPU_OPTIMIZER.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphge_local_graph_optimizer.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_OptimizeWholeGraphffts_plus.txt

调用各引擎的原图优化接口后的图信息,OptimizeWholeGraph后为引擎名称

-

ge_proto_xxxx_PreRunAfterOptimizeWholeGraph.txt

经过各算子信息库优化处理(OptimizeWholeGraph接口调用)之后的图结构

-

ge_proto_xxxx_PreRunAfterOptimize2.txt

所有图优化2阶段处理之后的图结构

-

ge_proto_xxxx_PreRunAfterOptimizeGraphBeforeBuild.txt

模型编译入口图

白名单

ge_proto_xxxx_BeforeHandleMemConflict.txt

处理内存冲突之前的图

-

ge_proto_xxxx_AfterHandleMemConflict.txt

处理内存冲突之后的图

-

ge_proto_xxxx_BeforeHandleMemoryLayoutConflict.txt

解决内存排布冲突入口图

-

ge_proto_xxxx_PreRunAfterMemConflictProc.txt

解决内存读写冲突出口图

-

ge_proto_xxxx_partition0_rank0_inputNodeGraph_SecondPartitioning.txt

二拆操作后,输入节点子图的图结构

-

ge_proto_xxxx_partition0_rank1_new_sub_graph1_SecondPartitioning.txt

二拆操作后,子图1的图结构

-

ge_proto_xxxx_partition0_rank2_new_sub_graph110_SecondPartitioning.txt

二拆操作后,子图110的图结构

-

ge_proto_xxxx_BeforeUnfoldSubgraphs.txt

动态shape图展开之前的图

-

ge_proto_xxxx_AfterUnfoldSubgraphs.txt

动态shape图展开之后的图

-

ge_proto_xxxx_RunCustomPass_BeforeAssignLogicStream*.txt

用户自定义流分配Pass处理之前的图,*代表具体Pass名称

白名单

ge_proto_xxxx_RunCustomPass_AfterAssignLogicStream*.txt

用户自定义流分配Pass处理之后的图,*代表具体Pass名称

白名单

ge_proto_xxxx_AfterAssignResource.txt

流分配、内存分配、GenTask之后的图

-

ge_proto_xxxx_Build.txt

模型编译出口图

白名单

ge_proto_xxxx_PreRunAfterBuild.txt

与上图相同

-

ge_proto_xxxx_BeforeAttrsCompress.txt

离线模型压缩前的图

-

ge_proto_xxxx_AfterAttrsCompress.txt

离线模型压缩后的图

-

ge_proto_xxxx_BeforeAttrsDecompress.txt

离线模型解压前的图

-

ge_proto_xxxx_AfterAttrsDecompress.txt

离线模型解压后的图

-

ge_proto_xxxx_ComputeGraphBeforeLowering.txt

lowering前的计算图

白名单

ge_proto_xxxx_Before_MultiStream_LoweringFirstLastEventSync.txt

多流插入Event之前的执行图

-

ge_proto_xxxx_ExeGraphBeforeOptimize.txt

执行图优化前的执行图

白名单

ge_proto_xxxx_AfterZeroCopy.txt

零拷贝优化之后的执行图

-

ge_proto_xxxx_AfterCEM.txt

CEM优化之后的执行图

-

ge_proto_xxxx_AfterCopyFlowLaunch.txt

随路拷贝优化后的执行图

-

ge_proto_xxxx_TrustOutTensorAfter.txt

TrustOutTensor优化之后的执行图

-

ge_proto_xxxx_ AicpuFuseHostInputsAfter.txt

AicpuFuseHostInputs优化之后的图

-

ge_proto_xxxx_ExecuteGraphAfterSplit.txt

动态shape最终的执行图

白名单