精度比对

参数名

描述

fusion_switch_file

融合开关配置文件路径以及文件名。

格式要求：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

系统内置了一些图融合和UB融合规则，均为默认开启，可以根据需要关闭指定的融合规则。

配置示例： 
npu.global_options().fusion_switch_file="/home/test/fusion_switch.cfg"

配置文件fusion_switch.cfg样例如下，on表示开启，off表示关闭。

{
    "Switch":{
        "GraphFusion":{
            "RequantFusionPass":"on",
            "ConvToFullyConnectionFusionPass":"off",
            "SoftmaxFusionPass":"on",
            "NotRequantFusionPass":"on",
            "ConvConcatFusionPass":"on",
            "MatMulBiasAddFusionPass":"on",
            "PoolingFusionPass":"on",
            "ZConcatv2dFusionPass":"on",
            "ZConcatExt2FusionPass":"on",
            "TfMergeSubFusionPass":"on"
        },
        "UBFusion":{
            "TbePool2dQuantFusionPass":"on"
        }
    }
}

同时支持用户一键关闭融合规则：

{
    "Switch":{
        "GraphFusion":{
            "ALL":"off"
        },
        "UBFusion":{
            "ALL":"off"
         }
    }
}

需要注意的是：

  1. 关闭某些融合规则可能会导致功能问题，因此此处的一键式关闭仅关闭系统部分融合规则，而不是全部融合规则。
  2. 一键式关闭融合规则时，可以同时开启部分融合规则：
    {
    "Switch":{
        "GraphFusion":{
            "ALL":"off",
            "SoftmaxFusionPass":"on"
        },
        "UBFusion":{
            "ALL":"off",
            "TbePool2dQuantFusionPass":"on"
        }
    }
}

dump_config.enable_dump

是否开启Data Dump功能，默认值：False。

  • True：开启Data Dump功能，从dump_path读取Dump文件保存路径。
  • False：关闭Data Dump功能。
    说明：

    不能同时使能Data Dump和溢出数据检测能力。

配置示例： 
npu.global_options().dump_config.enable_dump=True

dump_config.dump_path

Dump文件保存路径。enable_dump或enable_dump_debug为true时，该参数必须配置。

该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径（相对执行命令行时的当前路径）。

  • 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
  • 相对路径配置直接以目录名开始，例如：output。
配置示例： 
npu.global_options().dump_config.dump_path = "/home/HwHiAiUser/output"

dump_config.dump_step

指定采集哪些迭代的Data Dump数据。默认值：None，表示所有迭代都会产生dump数据。

多个迭代用“|”分割，例如：0|5|10；也可以用"-"指定迭代范围，例如：0|3-5|10。

配置示例： 
npu.global_options().dump_config.dump_step="0|5"

dump_config.dump_mode

Data Dump模式，用于指定dump算子输入还是输出数据，默认为output。取值如下：

  • input：仅dump算子输入数据
  • output：仅dump算子输出数据
  • all：dump算子输入和输出数据
配置示例： 
npu.global_options().dump_config.dump_mode="all"

dump_config.dump_data

指定算子dump内容类型，取值：

  • tensor: dump算子数据，默认为tensor。
  • stats: dump算子统计数据，结果文件为csv格式。

大规模训练场景下，通常dump数据量太大并且耗时长，可以先dump所有算子的统计数据，根据统计数据识别可能异常的算子，然后再指定dump异常算子的input或output数据。

配置示例：

npu.global_options().dump_config.dump_data = "stats"

dump_config.dump_layer

指定需要dump的算子。取值为算子名，多个算子名之间使用空格分隔。若不配置此字段，默认dump全部算子。

配置示例：

npu.global_options().dump_config.dump_layer = "nodename1 nodename2 nodename3"

dump_config.enable_dump_debug

是否开启溢出检测功能，默认值：False。

  • True：开启溢出检测功能，从dump_path读取Dump文件保存路径，dump_path为None时会产生异常。
  • False：关闭溢出检测功能。
    说明：

    不能同时使能Data Dump和溢出数据检测能力。

配置示例： 
npu.global_options().dump_config.enable_dump_debug=True

dump_config.dump_debug_mode

溢出检测模式，默认为all，取值如下：

  • aicore_overflow：AI Core算子溢出检测，检测在算子输入数据正常的情况下，输出是否不正常的极大值（如float16下65500,38400,51200这些值）。一旦检测出这类问题，需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现
  • atomic_overflow：Atomic Add溢出检测，即除了AICore之外，还有其他涉及浮点计算的模块，比如SDMA，检测这些部分出现的溢出问题。
  • all：同时进行AI Core算子溢出检测和Atomic Add溢出检测。
配置示例： 
npu.global_options().dump_config.dump_debug_mode="aicore_overflow"
父主题： npu.global_options