文档
注册
评分
提单
论坛
小AI

知识库调优生成,但是无法命中

问题现象

AOE调优工具完成调优,生成了知识库,但是无法命中调优生成的知识库。

解决方案

检查调优时候的参数,和ATC转模型或者AOE再次调优的参数是否一致。以下参数需要保持一致才能保证命中生成的知识库。目前如下参数会影响到知识库的命中。

表1 影响子图知识库命中的参数

参数名

影响子图知识库命中的原因

说明

--input_format

影响了输入数据格式

ATC和AOE都支持的参数,取值需要保持一致。

--input_shape

指定模型输入数据的shape

ATC和AOE都支持的参数,取值需要保持一致。

--output_type

指定网络输出数据类型或指定某个输出节点的输出类型

ATC和AOE都支持的参数,取值需要保持一致。

--insert_op_conf

插入新增算子,影响了网络结构

ATC和AOE都支持的参数,取值需要保持一致。

--out_nodes

设置网络不同的节点作为输出节点

ATC和AOE都支持的参数,取值需要保持一致。

--input_fp16_nodes

指定输入数据类型为FP16的输入节点名称,影响输入节点的数据类型

ATC和AOE都支持的参数,取值需要保持一致。

--is_input_adjust_hw_layout

指定网络输入数据类型是否为FP16,数据格式是否为NC1HWC0, 影响网络的输入数据类型和格式

ATC和AOE都支持的参数,取值需要保持一致。

--is_output_adjust_hw_layout

指定网络输出数据类型是否为FP16,数据格式是否为NC1HWC0, 影响网络的输出数据类型和格式

ATC和AOE都支持的参数,取值需要保持一致。

--fusion_switch_file

设置不同的融合规则,影响网络结构

ATC和AOE都支持的参数,取值需要保持一致。

--enable_scope_fusion_passes

设置不同的融合规则,影响网络结构

ATC和AOE都支持的参数,取值需要保持一致。

--enable_small_channel

改变了网络融合结构

ATC和AOE都支持的参数,取值需要保持一致。

--precision_mode

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--op_precision_mode

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--modify_mixlist

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--keep_dtype

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--op_select_implmode

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--optypelist_for_implmode

影响了网络部分算子的dtype

ATC和AOE都支持的参数,取值需要保持一致。

--dynamic_batch_size

影响网络的shape,需要保存一致

动态batch较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。

--dynamic_image_size

影响网络的shape,需要保存一致

动态分辨率较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。

--dynamic_dims

影响网络的shape,需要保存一致

动态维度较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。

如果发现参数不一致,需要修改为一致后,重新进行调优,生成一致参数的知识库。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词