自定义LazyAdam优化器。
1 | def create_hash_optimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8, name="LazyAdam", use_fusion_optim=False) |
参数名称 |
参数说明 |
参数类型 |
必选/可选 |
默认值 |
取值范围 |
---|---|---|---|---|---|
learning_rate |
学习率。 |
float/tf.Tensor |
可选 |
0.001 |
[0.0, 10.0] |
beta1 |
第一矩的指数衰减率估计。 |
float |
可选 |
0.9 |
(0.0, 1.0) |
beta2 |
第二矩的指数衰减率估计。 |
float |
可选 |
0.999 |
[0.0, 1.0] |
epsilon |
加入此值到分母中,提高数据稳定性。 |
float |
可选 |
1e-8 |
(0.0, 1.0] |
name |
优化器名称。 |
string |
可选 |
LazyAdam |
优化器名称长度范围:[1, 200] |
use_fusion_optim |
是否使用LazyAdam融合算子进行slot_m, slot_v, variable数据计算和更新。 |
bool |
可选 |
False |
|
CustomizedLazyAdam(自定义LazyAdam优化器)的一个实例对象。
1 2 | from mx_rec.optimizers.lazy_adam import create_hash_optimizer hashtable_optimizer = create_hash_optimizer() |