通过张量融合实现的高性能RMSpropTF优化器,核心功能和torch.optim.RMSprop兼容。RMSpropTF的功能和原理可参考。
[object Object]
- params (
[object Object]):必选参数,模型参数或模型参数组,[object Object]为参数的可迭代对象或参数组的dict类型。 - lr (
[object Object]):可选参数,学习率,默认值为1e-3。[object Object]的值小于0时,打印“ValueError”异常信息。 - alpha (
[object Object]):可选参数,平滑常量,默认值为0.9。[object Object]的值小于0时,打印“ValueError”异常信息。 - eps (
[object Object]):可选参数,分母防止除0项,提高数值稳定性,默认值为1e-10。[object Object]的值小于0时,打印“ValueError”异常信息。 - weight_decay (
[object Object]):可选参数,权重衰减,默认值为0。[object Object]的值小于0时,打印“ValueError”异常信息。 - momentum (
[object Object]):可选参数,动量因子,默认值为0。[object Object]的值小于0时,打印“ValueError”异常信息。 - centered (
[object Object]):可选参数,计算中心RMSProp,梯度将被方差的估计值归一化,默认值为False。 - decoupled_decay (
[object Object]):可选参数,权重衰减仅作用于参数,默认值为False。 - lr_in_momentum (
[object Object]):可选参数,计算动量buffer时使用lr,默认值为True。
类型为[object Object]的对象。
[object Object]的实现机制要求[object Object]中的每一个模型参数对象在使用过程中不能被重新申请,否则将导致无法预料的结果。引起模型参数对象被重新申请的操作包括但不限于:
- 将模型或其子Module进行.cpu操作
- 将模型参数对象指向新的对象
- 将模型参数对象置为None
对模型参数对象进行inplace计算,或者读取参数的值,[object Object]可正常工作。
[object Object]