aclgrphBuildInitialize支持的配置参数

表1 aclgrphBuildInitialize支持的配置参数

参数

说明

CORE_TYPE

设置网络模型使用的Core类型，若网络模型中包括Cube算子，则只能使用AiCore。

  • VectorCore
  • AiCore，默认为AiCore。

产品支持情况：

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 200/300/500 推理产品，不支持

Atlas 训练系列产品，不支持

Atlas 200/500 A2推理产品，不支持

Atlas A2训练系列产品，不支持

SOC_VERSION

该参数为必选配置。

如果无法确定具体的<soc_version>，则在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，在查询到的“Name”前增加Ascend信息，例如“Name”对应取值为xxxyy，实际配置的<soc_version>值为Ascendxxxyy。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

BUFFER_OPTIMIZE

数据缓存优化开关。

  • l1_optimize：表示开启l1优化。当前版本该参数无效，等同于off_optimize。
  • l2_optimize：表示开启l2优化。默认为l2_optimize。
  • off_optimize：表示关闭数据缓存优化。

注意：当参数值设置为l1_optimize，则不能与VIRTUAL_TYPE参数同时使用，同时使用会出现报错，表示虚拟化场景不做l1融合，防止算子过大导致调度异常。

产品支持情况：

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品（Ascend 310P处理器）

Atlas 200/500 A2推理产品

Atlas A2训练系列产品

ENABLE_COMPRESS_WEIGHT

使能全局weight压缩。

AICore支持Weight压缩功能，通过使能该参数，可以对Weight进行数据压缩，在进行算子计算时，对Weight进行解压缩，从而达到减少带宽、提高性能的目的。

该参数使能全局weight压缩，不能与COMPRESS_WEIGHT_CONF同时使用。

  • true：表示使能
  • false：表示关闭

产品支持情况：

Atlas 200/300/500 推理产品：不支持

Atlas 训练系列产品：不支持

Atlas 推理系列产品（Ascend 310P处理器）：不支持

Atlas 200/500 A2推理产品：不支持

Atlas A2训练系列产品：不支持

COMPRESS_WEIGHT_CONF

要压缩的node节点列表配置文件路径，node节点主要为conv算子、fc算子。

路径支持大小写字母、数字，下划线；文件名支持大小写字母、数字，下划线和点(.)。

该参数不能与ENABLE_COMPRESS_WEIGHT参数同时使用。

Weight压缩配置文件由AMCT输出，文件内容即为node名称列表，node名称之间以“;”间隔开。

例如，compress_weight_nodes.cfg文件内容为：conv1; fc1; conv2_2/x1; fc2; conv5_32/x2;fc6。

产品支持情况：

Atlas 200/300/500 推理产品：不支持

Atlas 训练系列产品：不支持

Atlas 推理系列产品（Ascend 310P处理器）：不支持

Atlas 200/500 A2推理产品：不支持

Atlas A2训练系列产品：不支持

PRECISION_MODE

设置网络模型的精度模式。不能与PRECISION_MODE_V2同时使用，建议使用PRECISION_MODE_V2参数。

  • force_fp32/cube_fp16in_fp32out：
    配置为force_fp32或cube_fp16in_fp32out，效果等同，系统内部都会根据矩阵类算子或矢量类算子，来选择不同的处理方式。cube_fp16in_fp32out为新版本中新增的，对于矩阵计算类算子，该选项语义更清晰。
    • 对于矩阵计算类算子，系统内部会按算子实现的支持情况处理：
      1. 优先选择输入数据类型为float16且输出数据类型为float32；
      2. 如果1中的场景不支持，则选择输入数据类型为float32且输出数据类型为float32；
      3. 如果2中的场景不支持，则选择输入数据类型为float16且输出数据类型为float16；
      4. 如果3中的场景不支持，则报错。
    • 对于矢量计算类算子，表示网络模型中算子支持float16和float32时，强制选择float32，若原图精度为float16，也会强制转为float32。

      如果网络模型中存在部分算子，并且该算子实现不支持float32，比如某算子仅支持float16类型，则该参数不生效，仍然使用支持的float16；如果该算子不支持float32，且又配置了黑名单（precision_reduce = false），则会使用float32的AI CPU算子；如果AI CPU算子也不支持，则执行报错。

  • force_fp16：

    表示网络模型中算子支持float16和float32时，强制选择float16。

  • allow_fp32_to_fp16：
    • 对于矩阵类算子，使用float16。
    • 对于矢量类算子，优先保持原图精度，如果网络模型中算子支持float32，则保留原始精度float32，如果网络模型中算子不支持float32，则直接降低精度到float16。
  • must_keep_origin_dtype：

    表示保持原图精度。

    • 如果原图中某算子精度为float16，AI Core中该算子的实现不支持float16、仅支持float32，则系统内部会自动采用高精度float32。
    • 如果原图中某算子精度为float32，AI Core中该算子的实现不支持float32类型、仅支持float16类型，则会使用float32的AI CPU算子；如果AI CPU算子也不支持，则执行报错。
  • allow_mix_precision/allow_mix_precision_fp16：

    配置为allow_mix_precision或allow_mix_precision_fp16，效果等同，均表示使用混合精度float16和float32数据类型来处理神经网络的过程。allow_mix_precision_fp16为新版本中新增的，语义更清晰，便于理解。

    针对网络模型中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。

    若配置了该种模式，则可以在OPP软件包安装路径${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json内置优化策略文件中查看“precision_reduce”参数的取值：

    • 若取值为true（白名单），则表示允许将当前float32类型的算子，降低精度到float16。
    • 若取值为false（黑名单），则不允许将当前float32类型的算子降低精度到float16，相应算子仍旧使用float32精度。
    • 若网络模型中算子没有配置该参数（灰名单），当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。
  • allow_mix_precision_bf16：仅Atlas A2训练系列产品场景支持此配置。

    表示使用混合精度bfloat16和float32数据类型来处理神经网络的过程。针对原始模型中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到bfloat16，从而在精度损失很小的情况下提升系统性能并减少内存使用；如果算子不支持bfloat16和float32，则使用AI CPU算子进行计算；如果AI CPU算子也不支持，则执行报错。

    若配置了该种模式，则可以在OPP软件包安装路径${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json内置优化策略文件中查看“precision_reduce”参数的取值：

    • 若取值为true（白名单），则表示允许将当前float32类型的算子，降低精度到bfloat16。
    • 若取值为false（黑名单），则不允许将当前float32类型的算子降低精度到bfloat16，相应算子仍旧使用float32精度。
    • 若网络模型中算子没有配置该参数（灰名单），当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。
  • allow_fp32_to_bf16：仅Atlas A2训练系列产品场景支持此配置。
    • 对于矩阵计算类算子，使用bfloat16。
    • 对于矢量计算类算子，优先保持原图精度，如果原始模型中算子支持float32，则保留原始精度float32；如果原始模型中算子不支持float32，则直接降低精度到bfloat16；如果算子不支持bfloat16和float32，则使用AI CPU算子进行计算；如果AI CPU算子也不支持，则执行报错。

参数默认值：force_fp16

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

PRECISION_MODE_V2

设置网络模型的精度模式。不能与PRECISION_MODE同时使用，建议使用PRECISION_MODE_V2参数。

  • fp16：

    算子支持float16和float32数据类型时，强制选择float16。

  • origin：

    表示保持原图精度。

    • 如果原图中某算子精度为float16，AI Core中该算子的实现不支持float16、仅支持float32，则系统内部会自动采用高精度float32。
    • 如果原图中某算子精度为float32，AI Core中该算子的实现不支持float32类型、仅支持float16类型，则会使用float32的AI CPU算子；如果AI CPU算子也不支持，则执行报错。
  • cube_fp16in_fp32out：
    算子既支持float32又支持float16数据类型时，系统内部根据算子类型不同，选择不同的处理方式。
    • 对于矩阵计算类算子，系统内部会按算子实现的支持情况处理：
      1. 优先选择输入数据类型为float16且输出数据类型为float32；
      2. 如果1中的场景不支持，则选择输入数据类型为float32且输出数据类型为float32；
      3. 如果2中的场景不支持，则选择输入数据类型为float16且输出数据类型为float16；
      4. 如果3中的场景不支持，则报错。
    • 对于矢量计算类算子，表示网络模型中算子支持float16和float32时，强制选择float32，若原图精度为float16，也会强制转为float32。

      如果网络模型中存在部分算子，并且该算子实现不支持float32，比如某算子仅支持float16类型，则该参数不生效，仍然使用支持的float16；如果该算子不支持float32，且又配置了黑名单（precision_reduce = false），则会使用float32的AI CPU算子；如果AI CPU算子也不支持，则执行报错。

  • mixed_float16：

    表示使用混合精度float16和float32数据类型来处理神经网络。针对网络模型中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。

    若配置了该种模式，则可以在OPP软件包安装路径${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json内置优化策略文件中查看“precision_reduce”参数的取值：

    • 若取值为true（白名单），则表示允许将当前float32类型的算子，降低精度到float16。
    • 若取值为false（黑名单），则不允许将当前float32类型的算子降低精度到float16，相应算子仍旧使用float32精度。
    • 若网络模型中算子没有配置该参数（灰名单），当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。
  • mixed_bfloat16：仅Atlas A2训练系列产品场景支持此配置。

    表示使用混合精度bfloat16和float32数据类型来处理神经网络。针对网络模型中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到bfloat16，从而在精度损失很小的情况下提升系统性能并减少内存使用；如果算子不支持bfloat16和float32，则使用AI CPU算子进行计算；如果AI CPU算子也不支持，则执行报错。

    若配置了该种模式，则可以在OPP软件包安装路径${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json内置优化策略文件中查看“precision_reduce”参数的取值：

    • 若取值为true（白名单），则表示允许将当前float32类型的算子，降低精度到bfloat16。
    • 若取值为false（黑名单），则不允许将当前float32类型的算子降低精度到bfloat16，相应算子仍旧使用float32精度。
    • 若网络模型中算子没有配置该参数（灰名单），当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。

参数默认值：fp16

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

ALLOW_HF32

该参数预留，当前版本暂不支持。

是否启用HF32自动代替float32数据类型的功能，当前版本该参数仅针对Conv类算子与Matmul类算子生效。

HF32是华为昇腾推出的专门用于算子内部计算的单精度浮点类型，与其他常用数据类型的比较如下图所示。可见，HF32与float32支持相同的数值范围，但尾数位精度（11位）却接近FP16（10位）。通过降低精度让HF32单精度数据类型代替原有的float32单精度数据类型，可大大降低数据所占空间大小，实现性能的提升。

参数值：

  • true：针对Conv类算子与Matmul类算子，使能FP32数据类型自动转换为HF32数据类型的功能。

    具体哪些算子使能了该功能，请参见CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/allow_hf32_matmul_t_conv_t.ini，该文件不支持用户修改。

  • false：针对Conv类算子与Matmul类算子，不使能FP32数据类型自动转换为HF32数据类型的功能。

    具体哪些算子未使能该功能，请参见CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/allow_hf32_matmul_f_conv_f.ini，该文件不支持用户修改。

参数默认值：针对Conv类算子，使能FP32转换为HF32；针对Matmul类算子，不使能FP32转换为HF32。

由于ALLOW_HF32是使用HF32自动代替float32，要想该参数生效，必须保证被使能的算子输入或者输出类型为float32。 由于PRECISION_MODE_V2参数默认值为fp16，原始网络模型中算子类型为float32时会被强制转为float16类型，该场景下使用ALLOW_HF32参数不生效，建议修改PRECISION_MODE_V2参数值为origin（PRECISION_MODE参数默认值为force_fp16，建议修改为must_keep_origin_dtype或者force_fp32）

产品支持情况：

Atlas A2训练系列产品：支持

Atlas 200/300/500 推理产品：不支持

Atlas 推理系列产品（Ascend 310P处理器）：不支持

Atlas 训练系列产品：不支持

Atlas 200/500 A2推理产品：不支持

TUNE_DEVICE_IDS

当前版本暂不支持。

EXEC_DISABLE_REUSED_MEMORY

内存复用开关。

  • 1：关闭内存复用。如果网络模型较大，关闭内存复用开关时可能会造成内存不足，导致模型编译失败。
  • 0：开启内存复用。 默认为0。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

ENABLE_SINGLE_STREAM

是否使能一个模型只能使用一条stream。

  • true：使能
  • false：关闭，默认为false。

产品支持情况：

Atlas 训练系列产品：支持

Atlas A2训练系列产品：支持

Atlas 200/300/500 推理产品：不支持

Atlas 推理系列产品（Ascend 310P处理器）：不支持

Atlas 200/500 A2推理产品：不支持

AICORE_NUM

设置编译时使用的AI Core数目。

产品支持情况：

Atlas 200/300/500 推理产品：不支持

Atlas 训练系列产品：不支持

Atlas 推理系列产品（Ascend 310P处理器）：不支持

Atlas 200/500 A2推理产品：不支持

Atlas A2训练系列产品：不支持

FUSION_SWITCH_FILE

融合开关配置文件路径以及文件名，路径和文件名：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

系统内置了一些图融合和UB融合规则，均为默认开启，可以根据需要关闭指定的融合规则，当前可以关闭的融合规则请参见《图融合和UB融合规则参考》，但是由于系统机制，其他融合规则无法关闭。

配置文件样例fusion_switch.cfg，on表示开启，off表示关闭。

{
    "Switch":{
        "GraphFusion":{
            "RequantFusionPass":"on",
            "ConvToFullyConnectionFusionPass":"off",
            "SoftmaxFusionPass":"on",
            "NotRequantFusionPass":"on",
            "SplitConvConcatFusionPass":"on",
            "ConvConcatFusionPass":"on",
            "MatMulBiasAddFusionPass":"on",
            "PoolingFusionPass":"on",
            "ZConcatv2dFusionPass":"on",
            "ZConcatExt2FusionPass":"on",
            "TfMergeSubFusionPass":"on"
        },
        "UBFusion":{
            "TbePool2dQuantFusionPass":"on"
        }
    }
}

同时支持用户一键关闭融合规则：

{
    "Switch":{
        "GraphFusion":{
            "ALL":"off"
        },
        "UBFusion":{
            "ALL":"off"
         }
    }
}

需要注意的是：

  1. 关闭某些融合规则可能会导致功能问题，因此此处的一键式关闭仅关闭系统部分融合规则，而不是全部融合规则。
  2. 一键式关闭融合规则时，可以同时开启部分融合规则：
    {
    "Switch":{
        "GraphFusion":{
            "ALL":"off",
            "SoftmaxFusionPass":"on"
        },
        "UBFusion":{
            "ALL":"off",
            "TbePool2dQuantFusionPass":"on"
        }
    }
}

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

ENABLE_SMALL_CHANNEL

是否使能small channel的优化，使能后在channel<=4的卷积层会有性能收益。

建议用户在推理场景下打开此开关。

  • 0：关闭，默认为0。
  • 1：使能。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OP_SELECT_IMPL_MODE

昇腾AI处理器部分内置算子有高精度和高性能实现方式，用户可以通过该参数配置模型编译时算子选择哪种实现方式。取值包括：

  • high_precision：表示算子选择高精度实现。高精度实现算子是指在fp16输入的情况下，通过泰勒展开/牛顿迭代等手段进一步提升算子的精度。
  • high_performance：表示算子选择高性能实现。高性能实现算子是指在fp16输入的情况下，不影响网络精度前提的最优性能实现。默认为high_performance。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OPTYPELIST_FOR_IMPLMODE

设置optype列表中算子的实现模式。

列表中的算子使用OP_SELECT_IMPL_MODE参数指定的模式，当前仅支持指定为high_precision、high_performance两种模式，多个算子使用英文逗号进行分隔。

该参数需要与OP_SELECT_IMPL_MODE参数配合使用，且仅对指定的算子生效，不指定的算子按照默认实现方式选择。例如：OP_SELECT_IMPL_MODE配置为high_precision；OPTYPELIST_FOR_IMPLMODE配置为Pooling、SoftmaxV2。表示对Pooling、SoftmaxV2算子使用统一的高精度模式，未指定算子使用算子的默认实现方式。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OP_COMPILER_CACHE_MODE

用于配置算子编译磁盘缓存模式。默认值为enable。

  • enable：启用算子编译缓存功能。启用后，算子编译信息缓存至磁盘，相同编译参数的算子无需重复编译，直接使用缓存内容，从而提升编译速度。
  • force：启用算子编译缓存功能，区别于enable模式，force模式下会强制刷新缓存，即先删除已有缓存，再重新编译并加入缓存。比如当用户的python或者依赖库等发生变化时，需要指定为force用于清理已有的缓存。
    说明：

    配置为force模式完成编译后，建议后续编译修改为enable模式，以避免每次编译时都强制刷新缓存。

  • disable：禁用算子编译缓存功能。

使用说明：

  • 该参数和OP_COMPILER_CACHE_DIR配合使用。
  • 启用算子编译缓存功能时，可以通过如下两种方式来设置缓存文件夹的磁盘空间大小：
    • 通过配置文件op_cache.ini设置

      算子编译完成后，会在OP_COMPILER_CACHE_DIR参数指定路径下自动生成op_cache.ini文件，用户可以通过该配置文件进行缓存磁盘空间大小的配置；若op_cache.ini文件不存在，则需要手动创建。打开该文件，增加如下信息：

      #配置文件格式，必须包含，自动生成的文件中默认包括如下信息，手动创建时，需要输入
[op_compiler_cache]
#限制某个芯片下缓存文件夹的磁盘空间的大小，单位为MB
ascend_max_op_cache_size=500
#设置需要保留缓存的空间大小比例，取值范围：[1,100]，单位为百分比；例如80表示缓存空间不足时，删除缓存，保留80%
ascend_remain_cache_size_ratio=80
      • 上述文件中的ascend_max_op_cache_size和ascend_remain_cache_size_ratio参数取值都有效时，op_cache.ini文件才会生效。
      • 若多个使用者使用相同的缓存路径，建议使用配置文件的方式进行设置，该场景下op_cache.ini文件会影响所有使用者。
    • 通过环境变量设置

      通过环境变量ASCEND_MAX_OP_CACHE_SIZE来限制某个芯片下缓存文件夹的磁盘空间的大小，当编译缓存空间大小达到ASCEND_MAX_OP_CACHE_SIZE设置的取值，且需要删除旧的kernel文件时，通过环境变量ASCEND_REMAIN_CACHE_SIZE_RATIO设置需要保留缓存的空间大小比例。环境变量说明请参见《环境变量参考》。

    若同时配置了op_cache.ini文件和环境变量，则优先读取op_cache.ini文件中的配置项，若op_cache.ini文件和环境变量都未设置，则读取系统默认值：默认磁盘空间大小500M，默认保留缓存的空间50%。

  • 由于force选项会先删除已有缓存，所以不建议在程序并行编译时设置，否则可能会导致其他模型因使用的缓存内容被清除而编译失败。
  • 建议模型最终发布时设置编译缓存选项为disable或者force。
  • 如果算子调优后知识库变更，则需要通过设置为force来刷新缓存，否则无法应用新的调优知识库，从而导致调优应用执行失败。
  • 注意，调试开关打开的场景下，即OP_DEBUG_LEVEL非0值或者OP_DEBUG_CONFIG配置非空时，会忽略算子编译磁盘缓存模式的配置，不启用算子编译缓存。主要基于以下两点考虑：
    • 启用算子编译缓存功能（enable或force模式）后，相同编译参数的算子无需重复编译，编译过程日志无法完整记录。
    • 受限于缓存空间大小，对调试场景的编译结果不做缓存。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OP_COMPILER_CACHE_DIR

用于配置算子编译磁盘缓存的目录。

路径支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

如果参数指定的路径存在且有效，则在指定的路径下自动创建子目录kernel_cache；如果指定的路径不存在但路径有效，则先自动创建目录，然后在该路径下自动创建子目录kernel_cache。

默认值：$HOME/atc_data

算子编译磁盘缓存路径，除OP_COMPILER_CACHE_DIR参数设置的方式外，还可以配置环境变量ASCEND_CACHE_PATH，几种方式优先级为

配置参数“OP_COMPILER_CACHE_DIR”>环境变量ASCEND_CACHE_PATH>默认存储路径。

关于环境变量ASCEND_CACHE_PATH的详细说明请参见《环境变量参考》。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

DEBUG_DIR

用于配置保存算子编译生成的调试相关的过程文件的路径，过程文件包括但不限于算子.o（算子二进制文件）、.json（算子描述文件）、.cce等文件。

默认生成在当前路径下。

如果要自行指定算子编译的过程文件存放路径，需DEBUG_DIR参数与OP_DEBUG_LEVEL参数配合使用，且当OP_DEBUG_LEVEL取值为0时，不能使用DEBUG_DIR参数。

算子编译生成的调试文件存储路径，除DEBUG_DIR参数设置的方式外，还可以配置环境变量ASCEND_WORK_PATH，几种方式优先级为：

配置参数“DEBUG_DIR”>环境变量ASCEND_WORK_PATH >默认存储路径。

关于环境变量ASCEND_WORK_PATH的详细说明请参见《环境变量参考》。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OP_DEBUG_LEVEL

算子编译debug功能开关。参数取值：

  • 0：不开启算子debug功能，在当前路径不生成算子编译目录kernel_meta，默认为0。
  • 1：开启算子debug功能，在当前目录下，生成kernel_meta文件夹，并在该文件夹下生成.o（算子二进制文件）、.json文件（算子描述文件）以及TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），用于后续分析AICore Error问题。
  • 2：开启算子debug功能，在当前目录下，生成kernel_meta文件夹，并在该文件夹下生成.o（算子二进制文件）、.json文件（算子描述文件）以及TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），用于后续分析AICore Error问题，同时设置为2，还会关闭编译优化开关、开启ccec调试功能（ccec编译器选项设置为-O0-g）。
  • 3：不开启算子debug功能，在当前目录下，生成kernel_meta文件夹，并在该文件夹中生成.o（算子二进制文件）和.json文件（算子描述文件），分析算子问题时可参考。
  • 4：不开启算子debug功能，在当前目录下，生成kernel_meta文件夹，并在该文件夹下生成.o（算子二进制文件）和.json文件（算子描述文件）以及TBE指令映射文件（算子cce文件*.cce）和UB融合计算描述文件（{$kernel_name}_compute.json），可在分析算子问题时进行问题复现、精度比对时使用。
须知：
  • 若OP_DEBUG_LEVEL配置为0，同时又配置了OP_DEBUG_CONFIG参数，该场景下在当前执行路径仍旧会生成算子编译目录kernel_meta。
  • 训练执行时，建议配置为0或3。如果需要进行问题定位，再选择调试开关选项1和2，是因为加入了调试功能会导致网络性能下降。
  • 配置为2，即开启ccec编译选项的场景下，会增大算子Kernel（*.o文件）的大小。动态shape场景下，由于算子编译时会遍历可能存在的所有场景，最终可能会导致由于算子Kernel文件过大而无法进行编译的情况，此种场景下，建议不要配置为2。

    由于算子kernel文件过大而无法编译的日志显示如下：

    message:link error ld.lld: error: InputSection too large for range extension thunk ./kernel_meta_xxxxx.o:(xxxx)

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OP_DEBUG_CONFIG

Global Memory内存检测功能开关。

取值为.cfg配置文件路径，配置文件内多个选项用英文逗号分隔：

  • oom：在算子执行过程中，检测Global Memory是否内存越界。配置该选项，算子编译时，在当前执行路径下的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件）。
  • dump_bin：算子编译时，在当前执行路径下的kernel_meta文件夹中保留.o和.json文件。
  • dump_cce：算子编译时，在当前执行路径下的kernel_meta文件夹中保留算子cce文件*.cce，以及.o和.json文件。
  • dump_loc：算子编译时，在当前执行路径下的kernel_meta文件夹中保留python-cce映射文件*_loc.json。
  • ccec_O0：算子编译时，开启ccec编译器选项-O0，此编译选项针对调试信息不会执行任何优化操作。
  • ccec_g ：算子编译时，开启ccec编译器选项-g，此编译选项相对于-O0，会生成优化调试信息。

配置示例：/root/test0.cfg，其中，test0.cfg文件信息为：

op_debug_config = ccec_O0,ccec_g,oom
说明：

开启ccec编译选项的场景下（即ccec_O0、ccec_g选项），会增大算子Kernel（*.o文件）的大小。动态shape场景下，由于算子编译时会遍历可能存在的所有场景，最终可能会导致由于算子Kernel文件过大而无法进行编译的情况，此种场景下，建议不要开启ccec编译选项。

由于算子kernel文件过大而无法编译的日志显示如下：

message:link error ld.lld: error: InputSection too large for range extension thunk ./kernel_meta_xxxxx.o:(xxxx)

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

MODIFY_MIXLIST

混合精度场景下，配置算子使用混合精度黑白灰名单。配置为路径以及文件名，文件为json格式。

  • 白名单：允许将当前float32类型的算子，降低精度到float16。
  • 黑名单：不允许将当前float32类型的算子，降低精度到float16。
  • 灰名单：当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。

开启混合精度方式：

  • PRECISION_MODE参数设置为allow_mix_precision、allow_mix_precision_fp16、allow_mix_precision_bf16（仅Atlas A2训练系列产品场景支持此配置）。
  • PRECISION_MODE_V2参数设置为mixed_float16、mixed_bfloat16（仅Atlas A2训练系列产品场景支持此配置），与PRECISION_MODE参数不能同时配置，建议使用PRECISION_MODE_V2。

混合精度场景下全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用；而使用MODIFY_MIXLIST参数后，用户可以在内置优化策略基础上进行调整，自行指定哪些算子允许降精度，哪些算子不允许降精度。

配置示例： 
{ge::ir_option::MODIFY_MIXLIST, "/home/test/ops_info.json"}

ops_info.json中可以指定算子类型，多个算子使用英文逗号分隔，样例如下：

{
  "black-list": {                  // 黑名单
     "to-remove": [                // 黑名单算子转换为灰名单算子
     "Xlog1py"
     ],
     "to-add": [                   // 白名单或灰名单算子转换为黑名单算子
     "Matmul",
     "Cast"
     ]
  },
  "white-list": {                  // 白名单
     "to-remove": [                // 白名单算子转换为灰名单算子 
     "Conv2D"
     ],
     "to-add": [                   // 黑名单或灰名单算子转换为白名单算子
     "Bias"
     ]
  }
}

上述配置文件样例中展示的算子仅作为参考，请基于实际硬件环境和具体的算子内置优化策略进行配置。混合精度场景下算子的内置优化策略可在“OPP安装目录/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json”文件中查询，例如：

"Conv2D":{
    "precision_reduce":{
        "flag":"true"
},

true：白名单。false：黑名单。不配置：灰名单。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

SPARSITY

使能全局稀疏特性。

AMCT（昇腾模型压缩工具）4选2结构化稀疏后输出的模型，可能存在weight连续4个Cin维度元素中至少有2个为0的场景，模型转换时通过使能全局稀疏开关，将该场景下的元素筛选成2个，从而节省后续推理的计算量，提高推理性能。

由于硬件约束，该参数不能与ENABLE_COMPRESS_WEIGHT、COMPRESS_WEIGHT_CONF同时使用。

参数值：

  • 1：表示开启4选2结构化稀疏。
  • 0：不开启稀疏特性。

参数默认值：0

使用约束：使用该参数时，请确保模型是稀疏的模型，建议用户使用AMCT（TensorFlow）或AMCT（PyTorch）的组合压缩功能获取，且组合压缩只能是4选2结构化稀疏+量化感知训练模式。

产品支持情况：

Atlas 200/300/500 推理产品，不支持

Atlas 训练系列产品，不支持

Atlas 推理系列产品（Ascend 310P处理器），不支持

Atlas 200/500 A2推理产品，支持

Atlas A2训练系列产品，支持

EXTERNAL_WEIGHT

模型编译时，是否将网络中Const/Constant节点的权重保存在单独的文件中，取值包括：

  • 0：不将原网络中的Const/Constant节点的权重保存在单独的文件中，而是直接保存在om模型文件中。默认为0。
  • 1：将原始网络中的Const/Constant节点的权重保存在单独的文件中，并将其类型转换为FileConstant且该文件保存在与om文件同级的weight目录下，权重文件以算子名称命名。

说明：当网络中weight占用内存较大且对模型大小有限制时，建议将此配置项设置为“1”。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

DETERMINISTIC

是否开启确定性计算。

默认情况下，不开启确定性计算，算子在相同的硬件和输入下，多次执行的结果可能不同。这个差异的来源，一般是因为在算子实现中，存在异步的多线程执行，会导致浮点数累加的顺序变化。当开启确定性计算功能时，算子在相同的硬件和输入下，多次执行将产生相同的输出。

通常建议不开启确定性计算，因为确定性计算往往会导致算子执行变慢，进而影响性能。当发现模型多次执行结果不同，或者是进行精度调优时，可开启确定性计算，辅助模型调试、调优。

参数值：

  • 0：默认值，不开启确定性计算。
  • 1：开启确定性计算。

配置示例：

{ge::ir_option::DETERMINISTIC, "1"}

产品支持情况：

Atlas 推理系列产品（Ascend 310P处理器），支持

Atlas 训练系列产品，支持

Atlas 200/300/500 推理产品，不支持

Atlas 200/500 A2推理产品，不支持

Atlas A2训练系列产品，不支持

OPTION_HOST_ENV_OS

若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统类型。

如果不设置，则默认取模型编译环境的操作系统类型。

与OPTION_HOST_ENV_CPU参数配合使用。

转换后的离线模型文件名称会包含操作系统类型、架构，例如：xxx_linux_x86_64.om

参数取值："linux"

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

OPTION_HOST_ENV_CPU

若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统架构。

如果不设置，则默认取模型编译环境的操作系统架构。

与OPTION_HOST_ENV_OS参数配合使用。

转换后的离线模型文件名称会包含操作系统类型、架构，例如：xxx_linux_x86_64.om

参数取值：

  • “aarch64”
  • “x86_64”

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

VIRTUAL_TYPE

是否支持离线模型在昇腾虚拟化实例特性生成的虚拟设备上运行。

当前芯片算力比较大，云端用户或者小企业完全不需要使用这么大算力，昇腾虚拟化实例特性支持对芯片的算力进行切分，可满足用户根据自己的业务按需申请算力的诉求。

虚拟设备是指按照指定算力在芯片上申请的虚拟加速资源。

参数取值：

  • 0：参数默认值，离线模型不在昇腾虚拟化实例特性生成的虚拟设备上运行。
  • 1：离线模型在不同算力的虚拟设备上运行。

使用约束：

  1. 参数取值为1时，进行模型转换，则转换后离线模型的NPU运行核数（blockdim）可能比实际aicore_num核数大，为aicore_num支持配置范围的最小公倍数：

    例如aicore_num支持配置范围为{1,2,4,8}，参数取值为1转换后的离线模型，NPU运行核数可能为8。

  2. 参数取值为1时，转换后的模型，如果包括如下算子，会默认使用单核，该场景下，将会导致转换后的模型推理性能下降。
    • DynamicRNN
    • PadV2D
    • SquareSumV2
    • DynamicRNNV2
    • DynamicRNNV3
    • DynamicGRUV

产品支持情况：

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

Atlas 200/300/500 推理产品：不支持

COMPRESSION_OPTIMIZE_CONF

压缩优化功能配置文件路径以及文件名，通过该参数使能配置文件中指定的压缩优化特性，从而提升网络性能。例如：/home/test/compression_optimize.cfg。

文件内容配置示例如下：

enable_first_layer_quantization:true
  • 当前配置文件仅支持配置enable_first_layer_quantization特性，用于控制AIPP首层卷积是否进行优化（AIPP会与量化后模型首层卷积CONV2D前的Quant算子进行融合）。
  • 配置文件中冒号前面表示压缩优化特性名称，冒号后面表示是否使能该特性，true表示使能，false表示不使能，默认不使能。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持

CLUSTER_CONFIG

指定目标部署环境逻辑拓扑关系的配置文件及路径，解析后用于图中HCCL算子的离线编译。

如果图中包含通信算子或者开启了算法切分，需要配置该参数。

配置示例： 
{ge::ir_option::CLUSTER_CONFIG, "/home/test/cluster_config.json"}

配置文件必须为json格式，示例如下：

  • Atlas 推理系列产品（Ascend 310P处理器）场景：具体使用的device芯片数量为item_list*item_def。
    {
	"cluster": [{
		"cluster_nodes": [{            //必填，Array of Cluster_node类型，集群资源信息描述。
			"is_local": true,      //非必填，BOOL类型，多个Node组成集群时，此文件此节点是否是本机。
			"item_list": [{        //必填，Array of item_info类型，云资源管理编排的执行该JOB的加速卡。
				"item_id": 0   //必填，Integer类型，Node内加速卡id。
			}],
			"node_id": 0,            //必填，Integer类型，集群内节点编号，一般0作为主节点。
			"node_type": "ATLAS300"  //必填，String类型，节点类型，如ATLAS800。
		}]
	}],
	"item_def": [{                           //Node内同种类型的加速卡的公共属性。
		"device_list": [{                //非必填，Array of device_info类型，整芯片内包含几个物理device。Atlas 训练系列产品不需要填写该配置项。
			"device_id": 0           //必填，Integer类型，整芯片内物理device id。
		},
		{
			"device_id": 1
		}],
		"item_type": "Ascend310P3"        //必填，String类型，节点内加速卡类型。
	}]
}

  • Atlas 训练系列产品和Atlas A2训练系列产品场景：具体使用的device芯片数量为cluster_nodes*item_list个数，每个cluster_nodes中的item_id个数必须保持一致。
    4p逻辑网络config:
{
	"cluster": [{
		"cluster_nodes": [{
			"node_id": 0,
			"node_type": "ATLAS800",
			"ipaddr": "127.0.0.1",       //必填，String类型，节点控制面通信的IP，如训练服务器为HOST IP、SOC服务器为头节点IP。
			"port": 2509,                //必填，Integer类型，节点控制面通信的端口。
			"is_local": true,
			"item_list": [{
				"item_id": 0
			},
			{
				"item_id": 1
			},
			{
				"item_id": 2
			},
			{
				"item_id": 3
			}]
		}]
	}],
	"item_def": [{
		"item_type": "<soc_version>"
	}],
	"node_def": [{                              //集群内同种类型Node的公共属性。
		"item": [{
			"item_type": "<soc_version>"    //必填，String类型，节点内加速卡类型。
		}]
	}],
	
}

产品支持情况：

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas A2训练系列产品：支持

Atlas 200/300/500 推理产品：不支持

Atlas 200/500 A2推理产品：不支持

OPTION_SCREEN_PRINT_MODE

控制图编译过程是否打屏。

参数取值：

  • enable：打屏，默认为enable。
  • disable：不打屏。

产品支持情况：

Atlas 200/300/500 推理产品：支持

Atlas 推理系列产品（Ascend 310P处理器）：支持

Atlas 训练系列产品：支持

Atlas 200/500 A2推理产品：支持

Atlas A2训练系列产品：支持
父主题： 数据类型