分析结果说明

专家系统分析结果展示在比对结果的5区域

图1 专家系统分析结果(仅为示例)

FP16溢出检测

针对比对数据中数据类型为FP16的数据,进行溢出检测。如果存在溢出数据,输出专家建议。

专家系统分析结果

Detection Type: FP16 overflow

Operator Index: 228

Expert Advice: Float16 data overflow occurs. Rectify the fault and perform comparison again.

检测类型:FP16溢出检测

Operator Index:228

专家建议:存在Float16数据溢出,请修正溢出问题,再进行比对。

输入不一致检测

针对整网的输入数据进行检测,主要判断整网两批待比对数据的输入data是否一致。如果存在不一致问题(余弦相似度<0.99),输出专家建议。

专家系统分析结果

Detection Type: Input inconsistent

Operator Index: 0

Expert Advice: The input data of NPUDump is inconsistent with that of GroundTruth. Use the same data or check the data preprocessing process.

检测类型:输入不一致检测

Operator Index:0

专家建议:NPUDump和GroundTruth间的输入数据不一致,请使用相同数据或者检查数据预处理流程。

整网一致性检测(问题节点检测)

判断整网比对结果中,是否某层小于阈值,该层后续数据均小于阈值或最后一层小于阈值(余弦相似度<0.99),输出量化误差修正建议

专家系统分析结果

Detection Type: global consistency

Operator Index: 1174

Expert Advice: The accuracy of some tensors is low, resulting in an unqualified final accuracy. This may be caused by quantization. Calibrate the data or contact Huawei for further diagnosis.

检测类型:整网一致性检测

Operator Index:1174

专家建议:部分张量精度较低,且导致最终结果精度不达标;很可能由量化造成,请进行数据校准或者反馈给华为做进一步定位。

整网一致性检测(单点误差检测)

判断整网比对结果中,是否某层小于阈值(余弦相似度<0.99),但最终结果符合精度要求,输出专家建议。

专家系统分析结果

Detection Type: global consistency

Operator Index: 195

Expert Advice: The accuracy of some tensors is low, while the final accuracy is qualified. This may be caused by Ascend internal optimization. Ignore or contact Huawei for further diagnosis.

检测类型:整网一致性检测

Operator Index:195

专家建议:部分张量精度较低,但最终结果精度达标,可能由内部优化导致,请忽略或反馈给华为做进一步定位。

整网一致性检测(一致性检测)

比对结果中的所有数据均符合精度要求,输出专家建议。

专家系统分析结果

Detection Type: global consistency

Operator Index: NA

Expert Advice: All data in the comparison result meets the accuracy requirements.

If data accuracy of the model is still not up to standard in practical application, please check the post-processing process of model outputs.

检测类型:整网一致性检测

Operator Index:NA

专家建议:比对结果中的所有数据均符合精度要求。

如果模型实际应用中,精度依旧不达标,请排查输出数据的后处理流程。