功能列表

activationType = ACTIVATION_RELU

• 使用参数
  • activationType = ACTIVATION_GELU
  • geluMode = TANH_MODE
• 函数图

  

• 表达式

  

• 约束说明

  不支持 Atlas 200I/500 A2 推理产品 。

• 使用参数
  • activationType = ACTIVATION_GELU
  • geluMode = NONE_MODE
• 函数图

  

• 表达式

  

  是高斯分布的累积分布函数

  

activationType = ACTIVATION_FAST_GELU

• activationType = ACTIVATION_SWISH
• scale

跟所输入的参数scale有关，当scale=1时

activationType = ACTIVATION_LOG

• activationType = ACTIVATION_SWIGLU_FORWARD
• dim

a, b为对输入tensor沿最后一维进行均分。

dim只可以沿最后一维进行均分，必须传入-1。

对于 Atlas 推理系列产品 ，仅支持32位对齐的数据。

不支持 Atlas 200I/500 A2 推理产品 。

• activationType = ACTIVATION_SWIGLU_BACKWARD
• dim

x1为输入tensor1

x2为输入tensor2

a，b为对x2沿最后一维进行均分

dim只可以沿最后一维进行均分，必须传入-1。

当前仅支持 Atlas A2 训练系列产品 / Atlas 800I A2 推理产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 。

activationType = ACTIVATION_SIGMOID

activationType = ACTIVATION_FASTER_GELU_FORWARD

不支持 Atlas 200I/500 A2 推理产品 。