FixedLossScaleManager构造函数

函数原型

def __init__(self, loss_scale, enable_overflow_check=True)

功能说明

FixedLossScaleManager类的构造函数,用于定义静态LossScale参数。

参数说明

参数名

输入/输出

描述

loss_scale

输入

LossScale值。float类型,取值不能小于1。

选择过小的LossScale的值可能会影响模型收敛,选择较大的LossScale可能会导致训练过程出现溢出。可以与GPU的值保持一致。

enable_overflow_check

输入

参数更新时,是否检查溢出。

True:检测到有溢出的迭代,会放弃参数更新,默认是True。

False:始终更新参数,不检查迭代中是否出现溢出。

返回值

返回FixedLossScaleManager类对象。