[object Object][object Object][object Object]undefined[object Object]

• API功能：计算输入[object Object]的组归一化结果[object Object]，均值[object Object]，标准差的倒数[object Object]，以及swish的输出。
• 计算公式：

  • GroupNorm: 公式中的$x$代表[object Object]， $E[x] = \bar{x}$ 代表$x$的均值，$Var[x] = \frac{1}{n} * \sum_{i=1}^{n} (x_i - E[x])^2$ 代表$x$的方差，$\gamma$代表[object Object]，$\beta$代表[object Object]，则公式如下：

    $$\begin{cases} y & = \frac{x - E[x]}{\sqrt{Var[x]} + eps} * \gamma + \beta \\ mean & = E[x] \\ rstd & = \frac{1}{\sqrt{Var[x]} + eps} \end{cases}$$

  • swish：swish计算公式的$x$为GroupNorm公式得到的$y$。

    $$y = \frac{x}{1 + e^{-scale \cdot x}}$$

[object Object]

[object Object][object Object]

• input([object Object])：必选参数，表示需要进行组归一化的数据，支持2-8D张量，数据类型支持[object Object]，[object Object]，[object Object]。
• num_groups([object Object])：必选参数，表示将[object Object]的第1维分为[object Object]组，[object Object]的第1维必须能被[object Object]整除。
• weight([object Object])：必选参数，表示权重，支持1D张量，并且第0维大小与[object Object]的第1维相同；数据类型支持[object Object]，[object Object]，[object Object]，并且需要与[object Object]一致。
• bias([object Object])：必选参数，表示偏置，支持1D张量，并且第0维大小与[object Object]的第1维相同；数据类型支持[object Object]，[object Object]，[object Object]，并且需要与[object Object]一致。
• eps([object Object])：可选参数，计算组归一化时加到分母上的值，以保证数值的稳定性。默认值为1e-5。
• swish_scale([object Object])：可选参数，用于进行swish计算的值。默认值为1.0。

[object Object]

y([object Object])：表示组归一化和swish计算的结果。

mean([object Object])：表示分组后的均值。

rstd([object Object])：表示分组后的标准差的倒数。

[object Object]

需要计算反向梯度场景时，[object Object]的第1维除以[object Object]的结果不能超过4000，[object Object]、[object Object]、[object Object]参数不支持含有-inf、inf或nan值。

[object Object]