ActivationOperation

功能

激活处理, 支持多种激活函数。

图1 ActivationOperation

约束

激活函数输入输出数据类型请参考表1进行配置。

表1 ActivationOperation激活函数数据类型对应表
激活类型	数据类型
RELU	float
GELU	float/float16
FAST_GELU	float16
SWISH	float16
LOG	float/float16

定义

enum ActivationType: int {
     ACTIVATION_UNDEFINED = 0,
     ACTIVATION_RELU,
     ACTIVATION_GELU,
     ACTIVATION_FAST_GELU,
     ACTIVATION_SWISH,
     ACTIVATION_LOG,
};
struct ActivationParam {
    ActivationType activationType;
    float scale = 1.0f;
};

成员

成员名称	描述
activationType	激活类型，支持RELU、GELU、FAST_GELU、SWISH、LOG。
scale	SWISH激活函数的参数。

输入

参数	维度	数据类型	格式	描述
x	[-1,…,-1] -1表示当前维度的大小没有约束。	float16/float	ND	数据类型依据“activationType”的激活类型决定。当“activationType”为ACTIVATION_LOG时取值需大于0。

参数

维度

数据类型

格式

描述

[-1,…,-1]

-1表示当前维度的大小没有约束。

float16/float

数据类型依据“activationType”的激活类型决定。

当“activationType”为ACTIVATION_LOG时取值需大于0。

输出

参数	维度	数据类型	格式	描述
output	[-1,…,-1] -1表示当前维度的大小没有约束。	float16/float	ND	输出和输入维度/类型/格式相同。

参数

维度

数据类型

格式

描述

output

[-1,…,-1]

-1表示当前维度的大小没有约束。

float16/float

输出和输入维度/类型/格式相同。

父主题： atb/infer_op_params.h