知识库调优生成,但是无法命中
问题现象
AOE调优工具完成调优,生成了知识库,但是无法命中调优生成的知识库。
解决方案
检查调优时候的参数,和ATC转模型或者AOE再次调优的参数是否一致。以下参数需要保持一致才能保证命中生成的知识库。目前如下参数会影响到知识库的命中。
参数名 |
影响子图知识库命中的原因 |
说明 |
---|---|---|
--input_format |
影响了输入数据格式 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--input_shape |
指定模型输入数据的shape |
ATC和AOE都支持的参数,取值需要保持一致。 |
--output_type |
指定网络输出数据类型或指定某个输出节点的输出类型 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--insert_op_conf |
插入新增算子,影响了网络结构 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--out_nodes |
设置网络不同的节点作为输出节点 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--input_fp16_nodes |
指定输入数据类型为FP16的输入节点名称,影响输入节点的数据类型 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--is_input_adjust_hw_layout |
指定网络输入数据类型是否为FP16,数据格式是否为NC1HWC0, 影响网络的输入数据类型和格式 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--is_output_adjust_hw_layout |
指定网络输出数据类型是否为FP16,数据格式是否为NC1HWC0, 影响网络的输出数据类型和格式 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--fusion_switch_file |
设置不同的融合规则,影响网络结构 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--enable_scope_fusion_passes |
设置不同的融合规则,影响网络结构 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--enable_small_channel |
改变了网络融合结构 |
ATC和AOE都支持的参数,取值需要保持一致。 |
--precision_mode |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--op_precision_mode |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--modify_mixlist |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--keep_dtype |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--op_select_implmode |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--optypelist_for_implmode |
影响了网络部分算子的dtype |
ATC和AOE都支持的参数,取值需要保持一致。 |
--dynamic_batch_size |
影响网络的shape,需要保存一致 |
动态batch较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。 |
--dynamic_image_size |
影响网络的shape,需要保存一致 |
动态分辨率较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。 |
--dynamic_dims |
影响网络的shape,需要保存一致 |
动态维度较为复杂,调优保存的知识库对应的是其中性能有收益的某一些档位的知识库,取值需要保持一致。 |
如果发现参数不一致,需要修改为一致后,重新进行调优,生成一致参数的知识库。