ActivationType

功能说明

激活函数类型枚举。

定义

enum ActivationType : int {
    ACTIVATION_UNDEFINED = 0,
    ACTIVATION_RELU,
    ACTIVATION_GELU,
    ACTIVATION_FAST_GELU,
    ACTIVATION_SWISH,
    ACTIVATION_LOG,
    ACTIVATION_SWIGLU_FORWARD,
    ACTIVATION_SWIGLU_BACKWARD,
    ACTIVATION_SIGMOID,
    ACTIVATION_FASTER_GELU_FORWARD,
    ACTIVATION_MAX,
};

成员

成员名称	描述
ACTIVATION_UNDEFINED	未定义。
ACTIVATION_RELU	RELU激活类型。
ACTIVATION_GELU	GELU激活类型。
ACTIVATION_FAST_GELU	FAST_GELU激活类型。快速运算的Gelu激活函数，对Tensor内每个element做Gelu激活函数近似计算，计算速度更快，同时保持较高的准确性。
ACTIVATION_SWISH	SWISH激活类型。
ACTIVATION_LOG	LOG激活类型。
ACTIVATION_SWIGLU_FORWARD	SWIGLU_FORWARD激活类型。 Swiglu正向激活函数。对于Atlas 推理系列产品，仅支持32位对齐的数据。
ACTIVATION_SWIGLU_BACKWARD	SWIGLU_BACKWARD激活类型。 Swiglu正向激活函数的反向，求梯度时使用。当前仅支持Atlas A2 训练系列产品/Atlas A2 推理系列产品和Atlas A3 推理系列产品/Atlas A3 训练系列产品。
ACTIVATION_SIGMOID	SIGMOID激活类型。
ACTIVATION_FASTER_GELU_FORWARD	FASTER_GELU_FORWARD激活类型。
ACTIVATION_MAX	枚举最大值, 非激活类型。

父主题： atb/infer_op_params.h