NPULossScaleOptimizer优化器使用常见问题

使用NPULossScaleOptimizer优化器时,如果训练脚本中存在如下类似情况:

with tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)):
  train_op = tf.train.xxxOptimizer(0.01).minimize(loss)

在创建动态loss_scale_manager时,需要将这个动作放在with的作用域之外,否则会训练失败。

原因是动态loss_scale_manager中会创建变量,正确的添加方式为:

loss_scale_manager = ExponentialUpdateLossScaleManager(init_loss_scale=2**32,incr_every_n_steps=1000,decr_every_n_nan_or_inf=2,decr_ratio=0.5)
with tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)):
  train_op = NPULossScaleOptimizer(tf.train.xxxOptimizer(0.01), loss_scale_manager).minimize(loss)