--virtual_type

功能说明

是否支持离线模型在昇腾虚拟化实例特性生成的虚拟设备上运行。

昇腾虚拟化实例特性是当前芯片算力比较大，云端用户或者小企业完全不需要使用这么大算力，而支持对芯片的算力进行切分，可满足用户按照自己的业务按需申请算力的诉求。

虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。

关联参数

无。

参数取值

参数值：

• 0：离线模型不在昇腾虚拟化实例特性生成的虚拟设备上运行。
• 1：离线模型在所有类型的虚拟设备上运行。

参数值约束：当参数取值为1时，使用ATC工具转换后的模型，如果包括3所列的算子，会默认使用单核，该场景下，将会导致转换后的模型推理性能下降。

参数默认值：0

推荐配置及收益（SE/TFO填写）

无。

示例

--virtual_type=1

支持的产品形态

昇腾310P AI处理器

昇腾910 AI处理器

使用约束

1. 使用该参数时，请确保运行环境已经搭建好昇腾虚拟化实例特性环境。
2. 若使用--virtual_type=1进行模型转换，则转换后离线模型的NPU运行核数（blockdim）可能比实际aicore_num核数大，为aicore_num支持配置范围的最小公倍数：

   例如aicore_num支持配置范围为{1,2,4,8}，则使用--virtual_type=1参数转换后的离线模型，NPU运行核数可能为8。

3. --virtual_type=1时，使用ATC工具转换后的模型，如果包括如下算子，会导致推理性能下降：
   • ActULQClampMaxGrad
   • ActULQClampMinGrad
   • BiasAddGrad
   • BinaryCrossEntropy
   • Cdist
   • CdistGrad
   • Dot
   • DynamicRNN
   • GlobalLpPool
   • KLDiv
   • L2Loss
   • LayerNorm
   • LpLoss
   • LpNorm
   • LpNormReduce
   • MseLoss
   • PadV2
   • PadV2D
   • PadV3
   • ReduceAll
   • ReduceAllD
   • ReduceAny
   • ReduceAnyD
   • ReduceLogSum
   • ReduceLogSumExp
   • ReduceMax
   • ReduceMaxD
   • ReduceMean
   • ReduceMeanD
   • ReduceMeanWithCount
   • ReduceMin
   • ReduceMinD
   • ReduceProd
   • ReduceProdD
   • ReduceStdV2Update
   • ReduceStdWithMean
   • ReduceSum
   • ReduceSumD
   • SmoothL1LossV2
   • SquareSumV1
   • SquareSumV2
   • SyncBatchNormGatherStatsWithCounts
   • DynamicRNN
   • DynamicRNNV2
   • DynamicRNNV3
   • DynamicGRUV