LazyAdam

自定义LazyAdam优化器。

函数原型

1
def create_hash_optimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8, name="LazyAdam", use_fusion_optim=False)

参数说明

参数名称

参数说明

参数类型

必选/可选

默认值

取值范围

learning_rate

学习率。

float/tf.Tensor

可选

0.001

[0.0, 10.0]

beta1

第一矩的指数衰减率估计。

float

可选

0.9

(0.0, 1.0)

beta2

第二矩的指数衰减率估计。

float

可选

0.999

[0.0, 1.0]

epsilon

加入此值到分母中,提高数据稳定性。

float

可选

1e-8

(0.0, 1.0]

name

优化器名称。

string

可选

LazyAdam

优化器名称长度范围:[1, 200]

use_fusion_optim

是否使用LazyAdam融合算子进行slot_m, slot_v, variable数据计算和更新。

bool

可选

False

  • True:表示使用融合算子,且需要手动编译和部署LazyAdam融合算子,使用方法和约束请参考README
  • False:表示不使用LazyAdam融合算子。

返回值说明

CustomizedLazyAdam(自定义LazyAdam优化器)的一个实例对象。

使用示例

1
2
from mx_rec.optimizers.lazy_adam import create_hash_optimizer
hashtable_optimizer = create_hash_optimizer()