LayerNormOperation

功能

LayerNorm归一化处理。当前支持三种：NORM、PRENORM、POSTNORM。

图1 NORM

图2 POSTNORM

约束

beginNormAxis维度小于等于输入x的维度。
所有输入输出Tensor的最后一维大小相等。

定义

struct LayerNormParam {
    enum LayerNormType : int {
        LAYER_NORM_UNDEFINED = 0,
        LAYER_NORM_NORM,
        LAYER_NORM_PRENORM,
        LAYER_NORM_POSTNORM,
        LAYER_NORM_MAX,
    };
    struct NormParam {
        QuantType quantType = QUANT_UNDEFINED;
        float epsilon = 1e-5;
        int32_t beginNormAxis = 0;
        int32_t beginParamsAxis = 0;
        DynamicQuantType dynamicQuantType = DYNAMIC_QUANT_UNDEFINED;
    };
    struct PreNormParam {
        QuantType quantType = QUANT_UNDEFINED;
        float epsilon = 1e-5;
        size_t opMode = 0;
        float zoomScaleValue = 1.0f;
    };
    struct PostNormParam {
        QuantType quantType = QUANT_UNDEFINED;
        float epsilon = 1e-5;
        size_t opMode = 0;
        float zoomScaleValue = 1.0f;
    };
    LayerNormType layerType = LAYER_NORM_UNDEFINED;
    NormParam normParam;
    PreNormParam preNormParam;
    PostNormParam postNormParam;
};

成员

成员名称	描述
layerType	归一化类型。 LAYER_NORM_UNDEFINED：默认值，未定义。 LAYER_NORM_NORM：norm类型。 LAYER_NORM_PRENORM：prenorm类型。 LAYER_NORM_POSTNORM：postnorm类型。
normParam	NORM参数，具体请参见表1。
preNormParam	PRETNORM参数，具体请参见表2。
postNormParam	POSTNORM参数，具体请参见表3。

表1 normParam成员
参数	描述
quantType	量化类型。当前支持以下类型。 QUANT_UNDEFINED； QUANT_INT8。
epsilon	Epsilon，归一化时加在分母上防止除零。
beginNormAxis	归一化的维度，默认值为0，从第几维开始norm，同时决定输入gamma和beta维度。
beginParamsAxis	归一化的维度，默认值为0，决定从第几维开始把后面的维度按轴合并。
dynamicQuantType	动态量化类型。默认为DYNAMIC_QUANT_UNDEFINED非动态量化。当前版本暂不支持非对称动态量化。

8.0.RC2及后续版本normParam不再支持quantInputScale、quantInputOffset、quantInputAlpha量化参数。

表2 preNormParam 成员
参数	描述
quantType	量化类型。当前仅支持QUANT_UNDEFINED。
epsilon	Epsilon，归一化时加在分母上防止除零。
opMode	0：高精度。 1：高性能。（暂不支持）
zoomScaleValue	缩放因子。

表3 postNormParam成员
参数	描述
quantType	量化类型。当前支持以下类型。 QUANT_UNDEFINED； QUANT_INT8。
epsilon	Epsilon，归一化时加在分母上防止除零。
opMode	0：高精度。 1：高性能。（暂不支持）
zoomScaleValue	缩放因子。

8.0.RC2及后续版本postNormParam不再支持quantInputScale、quantInputOffset、quantInputAlpha量化参数。

LAYER_NORM_NORM输入输出

参数	维度	数据类型	格式	描述
x	[-1,…,-1] -1表示当前维度的大小没有约束。	float16/float/bf16	ND	仅Atlas 800I A2推理产品支持输入为bf16数据类型。 quantType = QUANT_INT8时，数据类型为float16或bf16。 quantType = QUANT_UNDEFINED时，数据类型为float16、float或bfloat16。
gamma	[beginNormAxis:]或[1,-1] -1表示当前维度的大小没有约束。	float16/float/bf16	ND	quantType = QUANT_UNDEFINED时，根据beginNormAxis确定其余维度。 quantType = QUANT_INT8时，维度为[1,-1]。
beta	[beginNormAxis:]或[1,-1] -1表示当前维度的大小没有约束。	float16/float/bf16	ND	quantType = QUANT_UNDEFINED时，根据beginNormAxis确定其余维度。 quantType = QUANT_INT8时，维度为[1,-1]。
scale	[1]	float16/bf16	ND	quantType = QUANT_INT8时才输入。
offset	[1]	int8	ND	quantType = QUANT_INT8时才输入。
output	[-1,…,-1]	float16/float/int8/bf16	ND	quantType = QUANT_INT8时数据类型为int8。 quantType = QUANT_UNDEFINED时数据类型为float16、float或bfloat16。

LAYER_NORM_NORM DYNAMIC_QUANT输入输出

参数	维度	数据类型	格式	描述
x	[d_0, ..., d_k, n]	float16	ND	最后一维n的大小要32字节对齐，且小于等于12288。
gamma	[1, ..., 1, n]	float16	ND	最后一维n的大小要32字节对齐，且小于等于12288。
beta	[1, ..., 1, n]	float16	ND	所有属性与gamma一致。最后一维n的大小要32字节对齐，且小于等于12288。
y	[d_0, ..., d_k, n]	int8	ND	最后一维n的大小要32字节对齐，且小于等于12288。
scale	[d_0, ..., d_k]	float	ND	当quantType == QUANT_INT8且dynamicQuantType != DYNAMIC_QUANT_UNDEFINED时输出。
offset	[d_0, ..., d_k]	float	ND	当quantType == QUANT_INT8且dynamicQuantType == DYNAMIC_QUANT_ASYMMETRIC时输出。当前版本暂不支持。

LAYER_NORM_PRENORM输入输出

参数	维度	数据类型	格式	描述
x	[-1,…,n] -1表示当前维度的大小没有约束。	float16	ND	最后一维的大小要32字节对齐。
residual_in	[-1,…,n] -1表示当前维度的大小没有约束。	float16	ND	最后一维的大小要32字节对齐。
gamma	[1,n]	float16	ND	最后一维的大小要32字节对齐。
beta	[1,n]	float16	ND	最后一维的大小要32字节对齐。
output	[-1,…,n]	float16	ND	-
residual_out	[-1,…,n]	float16	ND	Norm前的输出（等于 x + residual_in * zoom_scale）

LAYER_NORM_POSTNORM输入输出

参数	维度	数据类型	格式	描述
x	[-1,…,n] -1表示当前维度的大小没有约束。	float16	ND	最后一维的大小要32字节对齐。
residual	[-1,…,n] -1表示当前维度的大小没有约束。	float16	ND	最后一维的大小要32字节对齐。
gamma	[1,n]	float16	ND	最后一维的大小要32字节对齐。
beta	[1,n]	float16	ND	最后一维的大小要32字节对齐。
scale	[1]	float16	ND	当quantType = QUANT_INT8时输入。
offset	[1]	int8	ND	当quantType = QUANT_INT8时输入。
output	[-1,…,n]	float16	ND	-
outputQuant	[-1,…,n]	int8	ND	当quantType = QUANT_INT8时输出。

父主题： atb/infer_op_params.h