功能列表

RELU激活类型功能

使用参数
activationType = ACTIVATION_RELU
函数图
表达式
$\text{[math]}$

GELU激活类型功能

Tanh近似计算
- 使用参数
  - activationType = ACTIVATION_GELU
  - geluMode = TANH_MODE
- 函数图
- 表达式
  $\text{[math]}$
非近似计算
- 使用参数
  - activationType = ACTIVATION_GELU
  - geluMode = NONE_MODE
- 函数图
- 表达式
  $\text{[math]}$
  
  是高斯分布的累积分布函数
  
  $\text{[math]}$

FAST_GELU激活类型功能

使用参数
activationType = ACTIVATION_FAST_GELU
函数图
表达式
$\text{[math]}$

SWISH激活类型功能

使用参数
- activationType = ACTIVATION_SWISH
- scale
函数图
跟所输入的参数scale有关，当scale=1时
表达式
$\text{[math]}$

LOG激活类型功能

使用参数
activationType = ACTIVATION_LOG
表达式
$\text{[math]}$

SWIGLU_FORWARD激活类型功能

对于 Atlas 推理系列产品，仅支持32位对齐的数据。

使用参数
- activationType = ACTIVATION_SWIGLU_FORWARD
- dim
表达式
a, b为对输入tensor延最后一维进行均分。

$\text{[math]}$
规格约束
dim只可以延最后一维进行均分，必须传入-1。

SWIGLU_BACKWARD激活类型功能

当前仅支持 Atlas 800I A2 推理产品 / Atlas A2 训练系列产品和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品。

使用参数
- activationType = ACTIVATION_SWIGLU_BACKWARD
- dim
表达式
x1为输入tensor1

x2为输入tensor2

a，b为对x2延最后一维进行均分

$\text{[math]}$

$\text{[math]}$
规格约束
dim只可以延最后一维进行均分，必须传入-1。

SIDMOD激活类型功能

使用参数
activationType = ACTIVATION_SIGMOID
函数图
表达式
$\text{[math]}$

FASTER_GELU_FORWARD激活类型功能

使用参数
activationType = ACTIVATION_FASTER_GELU_FORWARD
表达式
$\text{[math]}$

父主题： ActivationOperation