如果info.txt中给出如下结论,说明是精度溢出导致的AI Core error。
Analysis result: success. "**********************Root cause conclusion******************" "dha status 1" found in log. It means Atomic accumulation exception, please check the input data and network accuracy. Attention please, if multiple tasks are running on the same device at the same time, false positives may be generated. You are advised to pull up only one task and collect it .
出现该问题,是由于在算子运算过程中,有极端的数据遇到了atomic累加指令,atomic累加时如果出现溢出,则会报0x800000错误。
Atlas A2训练系列产品/Atlas 300I A2推理产品上,如果出现该问题,则是系统误报,用户可忽略该问题。
此类问题一般为输入数据错误导致,应通过精度调优手段进行下一步定位。
推理场景下,请参考《应用软件开发指南(C&C++)》中的“精度/性能优化”章节调优精度。
训练场景下,请参考《TensorFlow 2.6.5网络模型迁移和训练指南》的“精度调优”章节调优精度。