用于配置compile接口所需要的参数。
GraphInputs graphInputs; PrecisionPolicy precision_policy = PrecisionPolicy::FP16; std::string soc_version = "Ascend310P3"; size_t minBlockSize = 1; size_t optimizationLevel = 0; bool requireFullCompilation = false; bool truncateLongAndDouble = true; bool allowTensorReplaceInt = false; std::vector<std::string> torchExecutedOps; std::vector<std::string> torchExecutedModules;
成员名称 |
描述 |
|---|---|
graphInputs |
描述模型图中所有输入的数据结构。 默认值：无 |
precision_policy |
设置模型的推理精度策略，支持混合精度PREF_FP32、FP16以及FP32精度。 默认值：PrecisionPolicy::FP16 |
soc_version |
芯片型号。 默认值："Ascend310P3" |
minBlockSize |
切分子图的最少节点数量。 默认值：1 |
optimizationLevel |
模型优化等级，取值如下： 0：表示不优化； 1：表示图优化； 2：表示算子优化，仅在编译TorchScript模型时生效。 默认值：0 |
requireFullCompilation |
是否要求整图编译。 默认值：false |
truncateLongAndDouble |
是否允许long和double类型转换。 默认值：true |
allowTensorReplaceInt |
是否允许采用Tensor代替Int，，仅在编译TorchScript模型时生效。 默认值：false |
torchExecutedOps |
强制fallback执行的算子，例如：["aten::add"]或者[torch.ops.aten.add.default]。 默认值：无 |
torchExecutedModules |
强制fallback执行的模块。 默认值：无 |