--virtual_type

产品支持情况

功能说明

是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。

昇腾虚拟化实例是当前芯片算力比较大，云端用户或者小企业完全不需要使用这么大算力，而支持对芯片的算力进行切分，可满足用户按照自己的业务按需申请算力的诉求。

虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。

该参数不支持SGAT调优。

关联参数

无。

参数取值

参数值：

• 0：AOE调优不在昇腾虚拟化实例生成的虚拟设备上运行。
• 1：AOE调优在所有类型的虚拟设备上运行。

参数值约束：当参数取值为1时，使用AOE工具调优后产生的模型，如果包括3所列的算子，会默认使用单核，该场景下，将会导致转换后的模型推理性能下降。

参数默认值：0

推荐配置及收益

无。

示例

--virtual_type=1

使用约束

当前该参数仅支持Atlas 推理系列产品。

1. 使用该参数时，请确保运行环境已经搭建好昇腾虚拟化实例环境。
2. 若使用virtual_type=1进行AOE调优，则在调优时NPU运行核数可能比实际aicore_num核数大，为aicore_num支持配置范围的最小公倍数：

   例如aicore_num支持配置范围为{1,2,4,8}，则使用virtual_type=1参数调优时，NPU运行核数为8。

3. virtual_type=1时，使用AOE工具调优后产生的模型，如果包括如下算子，默认使用单核，会导致推理性能下降：
   • DynamicRNN
   • PadV2D
   • SquareSumV2
   • DynamicRNNV2
   • DynamicRNNV3
   • DynamicGRUV