torch_npu.optim.NpuFusedRMSprop

API接口

torch_npu.optim.NpuFusedRMSprop(params, lr=1e-2, alpha=0.99, eps=1e-8, weight_decay=0, momentum=0, centered=False)

功能描述

通过张量融合实现的 RMSprop 算法。

参数说明

• params：模型参数或模型参数组
• lr：学习率。（默认值：1e-3）
• alpha：平滑常量（默认值：0.99）
• eps：分母防除0项，提高数值稳定性（默认值：1e-8）
• weight_decay：权重衰减（默认值：0）
• momentum：动量因子（默认值：0）
• centered：计算中心RMSProp（默认值：False）

示例

opt = torch_npu.optim.NpuFusedRMSprop(model.parameters(), lr=0.001, weight_decay=0.01, momentum=0.9)