针对bert模型,获取adam优化器的计算结果。
[object Object]
- var (
[object Object]):[object Object]或[object Object]类型张量。 - m (
[object Object]):数据类型和shape与[object Object]相同。 - v (
[object Object]):数据类型和shape与[object Object]相同。 - lr (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - beta1 (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - beta2 (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - epsilon (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - grad (
[object Object]):数据类型和shape与[object Object]相同。 - max_grad_norm (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - global_grad_norm (
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - weight_decay(
[object Object]):数据类型与[object Object]相同。Shape为(1, )。 - step_size (
[object Object]):可选参数,数据类型与[object Object]相同。Shape为(1, )。默认值为None。 - adam_mode (
[object Object]):选择adam模式。0表示“adam”,1表示“mbert_adam”。默认值为0。
[object Object]