约束说明(仅推理场景)
约束
- 需要确保NPU Dump模型的数据文件与Ground Truth模型的数据文件为相同模型的数据。如果不是相同模型的数据,但模型中有相同的算子名称,也可以进行比较,但结果数据只显示匹配到的相同算子的比对结果。
- 如果在图编译过程中,原图的算子发生了融合,导致算子的output在编译后的模型中找不到对应的output时,该算子无法进行比对。
- 如果在图编译阶段对图做了结构性修改(如stride切分、L1 fusion、L2 fusion)的场景,会造成算子的input或output无法比对。
- 如果比对数据两边相同算子有dump数据,但算子的shape不一致(离线模型算子shape变小)或format不支持转换,该算子无法进行比对。
- 量化模型里经过量化处理的算子无法比对,必须是反量化的输出才能比对。例如,量化模型里AscendQuant算子的output无法比对。
- 本节中使用到的文件的存放路径不能包含中文字符、特殊字符等,仅支持双引号中的字符组成的路径:“./\:_- 0-9a-zA-Z”。
说明
- 针对FastRCNN网络场景,ProposalD算子及之后的算子,算子精度不达标属于正常情况,最终结果以FSRDetectionOutput算子的比对结果精度为准。
- 当模型转换对输入数据做了额外的预处理,造成原始模型的输入与离线模型的data算子输入格式不同时(比如AIPP场景下data输入为YUV),data算子比对结果异常、不具备参考意义。
- 使用精度比对工具,请确保硬件环境满足要求:CPU 8核 2.6Ghz,内存16GB,否则有可能会造成比对缓慢。
- 使用量化离线模型在昇腾AI处理器上运行生成的dump数据作为待比对数据时,由于量化与反量化算子之间存在影响精度的中间算子,在比对时会与源数据产生较大的精度损失,所以精度比对时会过滤掉中间算子进行比对,此时输出的结果将不包含整网的所有算子。