Developers
Download
[object Object]
[object Object]
[object Object][object Object]undefined
[object Object]
  • API功能:计算高斯误差线性单元的激活函数。

  • 计算公式:

    Gaussian Error Linear Unit(GELU)的表达式为:

    GELU(x)=xΦ(x)\text{GELU}(x) = x \cdot \Phi(x)

    Φ(x)\Phi(x)是Gaussian Distribution的CDF(Cumulative Distribution Function),表达式为:

    Φ(x)=P(Xx)=12[1+erf(x2)]\Phi(x) = P(X \leq x) = \frac{1}{2} \left[ 1 + \text{erf}\left(\frac{x}{\sqrt{2}}\right) \right]

    此时对应[object Object],若采用[object Object],则将 erf()\text{erf}(\cdot) 替换为 tanh()\tanh(\cdot) 的近似形式。

[object Object]
[object Object]
[object Object]
  • input ([object Object]):必选参数,对应公式中的xx,待进行[object Object]计算的入参,数据格式支持NDND,支持非连续的Tensor。输入最大支持8维。

    • [object Object]Atlas 训练系列产品[object Object]:数据类型支持[object Object][object Object]
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:数据类型支持[object Object][object Object][object Object]
    • [object Object]Atlas 推理系列产品[object Object]:数据类型支持[object Object][object Object]
  • approximate ([object Object]):可选参数,字符串类型,计算使用的激活函数模式,可配置为[object Object]或者[object Object]。其中[object Object]代表使用erf模式,[object Object]代表使用tanh模式。

[object Object]

[object Object]

数据类型必须和[object Object]一样,数据格式支持NDND,shape必须和[object Object]一样,支持非连续的Tensor。

[object Object]
  • 该接口支持图模式。
  • [object Object]输入不能为None。
[object Object]
  • 单算子模式调用

    [object Object]
  • 图模式调用

    [object Object]