参数列表

activationType

ActivationType

ACTIVATION_UNDEFINED

激活类型。

• ACTIVATION_UNDEFINED：未定义，此默认类型不可用，用户需配置此项参数。
• ACTIVATION_RELU：RELU激活类型。
• ACTIVATION_GELU：GELU激活类型。
• ACTIVATION_FAST_GELU：快速运算的Gelu激活类型。
• ACTIVATION_SWISH：SWISH激活类型。
• ACTIVATION_LOG：LOG激活类型。
• ACTIVATION_SWIGLU_FORWARD：Swiglu正向激活函数。
• ACTIVATION_SWIGLU_BACKWARD：Swiglu_forward反向激活函数，求梯度时使用。
• ACTIVATION_SIGMOID：Sigmoid激活类型。
• ACTIVATION_FASTER_GELU_FORWARD：FASTER_GELU_FORWARD激活类型。
• ACTIVATION_MAX：枚举最大值, 非激活类型。

scale

float

1.0f

Swish激活函数中的缩放系数。

dim

int32_t

-1

Swiglu正反向激活函数使用沿最后一维切分 ，即只支持传入-1。

geluMode

GeLUMode

TANH_MODE

Gelu模型选择。

• TANH_MODE: Tanh近似计算。
• NONE_MODE: 非近似计算。

rsv[8]

uint8_t

{0}

预留参数。