本功能为试验特性,后续版本可能存在变更,暂不支持应用于商用产品中。
图编译阶段支持设置图编译优化级别,包括子图优化、整图优化、静态shape模型下沉等,同时提供了两个次级编译优化选项,分别为常量折叠优化、死边消除优化。
关于图优化技术的详细原理介绍请参考昇腾社区“计算图优化技术”文章。
该功能通过torchair.get_npu_backend中compiler_config配置,示例如下,参数介绍参见表1。
1 2 3 4 5 6 7 8 9 10 11 | import torch_npu import torchair config = torchair.CompilerConfig() # 多级编译优化配置 config.ge_config.oo_level = "O3" # 常量折叠优化配置 config.ge_config.oo_constant_folding = True # 死边消除优化配置 config.ge_config.oo_dead_code_elimination = False npu_backend = torchair.get_npu_backend(compiler_config=config) opt_model = torch.compile(model, backend=npu_backend) |
参数名 |
参数说明 |
---|---|
oo_level |
图编译多级优化选项,字符串类型。 说明:
支持用户手动将oo_constant_folding或oo_dead_code_elimination置为True/False实现优化项的独立开启/关闭。 |
oo_constant_folding |
是否开启常量折叠优化。
|
oo_dead_code_elimination |
是否开启死边消除优化。
|