def __init__(self, loss_scale, enable_overflow_check=True)
FixedLossScaleManager类的构造函数,用于定义静态LossScale参数。
参数名 |
输入/输出 |
描述 |
---|---|---|
loss_scale |
输入 |
LossScale值。float类型,取值不能小于1。 选择过小的LossScale的值可能会影响模型收敛,选择较大的LossScale可能会导致训练过程出现溢出。可以与GPU的值保持一致。 |
enable_overflow_check |
输入 |
参数更新时,是否检查溢出。 True:检测到有溢出的迭代,会放弃参数更新,默认是True。 False:始终更新参数,不检查迭代中是否出现溢出。 |
返回FixedLossScaleManager类对象。