def __init__(self,
init_loss_scale,
incr_every_n_steps,
decr_every_n_nan_or_inf=2,
incr_ratio=2,
decr_ratio=0.8)
ExponentialUpdateLossScaleManager类的构造函数,用于定义动态LossScale参数。并通过定义loss_scale变量动态获取和更新LossScale值。
ExponentialUpdateLossScaleManager类对象的构造不能在tf.control_dependencies()接口的作用域内,否则可能会造成图结构执行顺序与预期不一致,详细可参见NPULossScaleOptimizer优化器使用常见问题。
参数名 |
输入/输出 |
描述 |
---|---|---|
init_loss_scale |
输入 |
初始LossScale值。float类型。 |
incr_every_n_steps |
输入 |
当累计N次迭代未出现溢出时,增大LossScale值。 |
decr_every_n_nan_or_inf |
输入 |
当累计N次迭代出现溢出时,减小LossScale值。默认值:2。 |
incr_ratio |
输入 |
LossScale增大的比例。默认值:2。 |
decr_ratio |
输入 |
LossScale减小的比例。默认值:0.8。 |
返回ExponentialUpdateLossScaleManager类对象。