产品支持情况
产品 |
是否支持 |
|---|---|
√ |
|
√ |
|
x |
|
x |
|
x |
|
√ |
|
x |
针对
功能说明
FixedLossScaleManager类的构造函数，浮点计算的溢出模式为“饱和模式”的场景下，可通过此接口定义训练场景下的静态LossScale参数。
Atlas A3 训练系列产品/Atlas A3 推理系列产品 ，浮点计算支持两种溢出模式：饱和模式与INF/NaN模式，请保持默认值INF/NaN模式。饱和模式仅用于兼容旧版本，后续不再演进，且此模式下计算精度可能存在误差。Atlas A2 训练系列产品 ，浮点计算支持两种溢出模式：饱和模式与INF/NaN模式，请保持默认值INF/NaN模式。饱和模式仅用于兼容旧版本，后续不再演进，且此模式下计算精度可能存在误差。Atlas 训练系列产品 ，浮点计算的溢出模式默认为“饱和模式”，且仅支持“饱和模式”。饱和模式为：计算出现溢出时，饱和为浮点数极值（+-MAX）。
函数原型
1 | def __init__(self, loss_scale, enable_overflow_check=True) |
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
loss_scale |
输入 |
LossScale值。float类型，取值不能小于1。 选择过小的LossScale的值可能会影响模型收敛，选择较大的LossScale可能会导致训练过程出现溢出。可以与GPU的值保持一致。 |
enable_overflow_check |
输入 |
参数更新时，是否检查溢出。
|
返回值
返回FixedLossScaleManager类对象。