固定随机性检验
为判断随机性是否消除,可以进行以下验证:
相同模型多次训练后,自身与自身进行loss对比,第一步loss完全相同,后续loss差异存在细微差异,但差异值明显小于未消除随机性的情况,例如loss差异小于0.001,则可认为随机性消除。
如果CPU训练,或者NPU开启确定性计算训练,自身多次训练的多步loss对比需要完全相同;如果loss差异较大,则网络中可能还存在随机性,需要继续排查随机性是否完全固定。
父主题:
去除固定随机性