开发者
资源
[object Object]

[object Object][object Object]undefined
[object Object]
  • 接口功能:实现FusedEmaAdam融合优化器功能。
  • 计算公式(correctionβ1,correctionβ2)={(1,1),biasCorrection=False(1β1step,1β2step),biasCorrection=True(correction_{\beta_1},correction_{\beta_2})=\begin{cases} (1,1),&biasCorrection=False\\ (1-\beta_1^{step},1-\beta_2^{step}),&biasCorrection=True \end{cases} grad={grad+weightDecayvar,mode=0grad,mode=1grad=\begin{cases} grad+weightDecay*var,&mode=0\\ grad,&mode=1 \end{cases} mout=β1m+(1β1)gradm_{out}=\beta_1*m+(1-\beta_1)*grad vout=β2v+(1β2)grad2v_{out}=\beta_2*v+(1-\beta_2)*grad^2 mnext=mout/correctionβ1m_{next}=m_{out}/correction_{\beta_1} vnext=vout/correctionβ2v_{next}=v_{out}/correction_{\beta_2} denom=vnext+epsdenom=\sqrt{v_{next}}+eps update={mnext/denom,mode=0mnext/denom+weightDecayvar,mode=1update=\begin{cases} m_{next}/denom,&mode=0\\ m_{next}/denom+weightDecay*var,&mode=1 \end{cases} varout=varlrupdatevar_{out}=var-lr*update sout=emaDecays+(1emaDecay)varouts_{out}=emaDecay*s+(1-emaDecay)*var_{out}
[object Object]

每个算子分为,必须先调用 “aclnnApplyFusedEmaAdamGetWorkspaceSize” 接口获取入参并根据计算流程计算所需workspace大小以及包含了算子计算流程的执行器,再调用 “aclnnApplyFusedEmaAdam” 接口执行计算。

[object Object]
[object Object]
[object Object]
  • 参数说明: [object Object]

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

    第一段接口完成入参校验,出现以下场景时报错: [object Object]

    [object Object]
[object Object]
  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

[object Object]

输入grad、var、m、v、s的数据类型和shape需要保持一致。

  • 确定性计算:
    • aclnnApplyFusedEmaAdam默认确定性实现。
[object Object]

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]