模型从GPU/CPU迁移到NPU训练,或者在NPU训练版本迭代的过程中,如果出现精度不达标的场景,例如loss曲线不符合预期或者验证精度不符合预期,可参考本章内容进行精度调优,找出存在问题的算子或者组件。
当前精度不达标的场景主要分为四类:
- 模型从GPU/CPU迁移到NPU训练,出现精度不达标的情况,可以参考GPU/CPU与NPU整网对比进行精度调优;
- 模型在NPU上持续迭代训练的过程中,软件版本或者配置发生变化后,出现精度不达标的情况,可以参考NPU与NPU整网对比进行精度调优;
- 模型在NPU上训练出现模型输出值为nan的情况,可以参考nan溢出定位进行精度调优;
- 模型在NPU上训练出现随机精度误差,即多次训练,可能随机出现精度不达标的情况,可以参考随机误差定位进行精度调优。
若在调优过程中发现任何问题或在操作时遇到困难,建议访问Gitee社区提交反馈或寻求帮助。