昇腾社区首页
中文
注册

图模式编译节点遍历选项

功能简介

对算子进行图模式编译时,可以选择不同的图遍历顺序。该功能主要面向推理场景。

使用方法

设置config时使用下列开关进行配置,“topology_sorting_strategy”默认值为“DFS”

import torch_npu
import torchair as tng
config = tng.CompilerConfig()

# 图模式编译的遍历策略配置
config.experimental_config.topology_sorting_strategy = "DFS"
npu_backend = tng.get_npu_backend(compiler_config=config)
...
model = Model()
model = torch.compile(model, backend=npu_backend, dynamic=False)

当前支持配置为"BFS"、"DFS"、"RDFS"、“StableRDFS”。

  • BFS:Breadth First Search,广度优先遍历策略。
  • DFS:Depth First Search,深度优先遍历策略。
  • RDFS:Reverse DFS,反向深度优先遍历策略。
  • StableRDFS:稳定拓扑序策略,针对图里已有的算子,不会改变其计算顺序;针对图里新增的算子,使用RDFS遍历策略。