说明

激活函数类型枚举。

定义

enum ActivationType : int {
    ACTIVATION_UNDEFINED = 0,
    ACTIVATION_RELU,
    ACTIVATION_GELU,
    ACTIVATION_FAST_GELU,
    ACTIVATION_SWISH,
    ACTIVATION_LOG,
    ACTIVATION_SWIGLU_FORWARD,
    ACTIVATION_SWIGLU_BACKWARD,
    ACTIVATION_MAX,
};

成员

成员名称	描述
ACTIVATION_UNDEFINED	未定义，不支持。
ACTIVATION_RELU	RELU激活类型。
ACTIVATION_GELU	GELU激活类型。
ACTIVATION_FAST_GELU	FAST_GELU激活类型。
ACTIVATION_SWISH	SWISH激活类型。
ACTIVATION_LOG	LOG激活类型。
ACTIVATION_SWIGLU_FORWARD	SWIGLU_FORWARD激活类型。
ACTIVATION_SWIGLU_BACKWARD	SWIGLU_BACKWARD激活类型。
ACTIVATION_MAX	枚举值上限，不支持。