Normalize

Atlas 350 加速卡

√

Atlas A3 训练系列产品/Atlas A3 推理系列产品

√

Atlas A2 训练系列产品/Atlas A2 推理系列产品

√

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品AI Core

√

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

U

beta，gamma操作数的数据类型。

Atlas 350 加速卡，支持的数据类型为：half、bfloat16_t、float。

Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持的数据类型为: half、float。

Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持的数据类型为: half、float。

Atlas 推理系列产品AI Core，支持的数据类型为: half、float。

T

output，inputX操作数的数据类型。

Atlas 350 加速卡，支持的数据类型为：half、bfloat16_t、float。

Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持的数据类型为: half、float。

Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持的数据类型为: half、float。

Atlas 推理系列产品AI Core，支持的数据类型为: half、float。

isReuseSource

该参数预留，传入默认值false即可。

config

配置Normalize接口中输入输出相关信息。NormalizeConfig类型，定义如下。

1
2
3
4
5
6
7

struct NormalizeConfig {
    ReducePattern reducePattern = ReducePattern::AR;
    int32_t aLength = -1;
    bool isNoBeta = false;
    bool isNoGamma = false;
    bool isOnlyOutput = false;
};

• reducePattern：当前仅支持ReducePattern::AR模式，表示输入的内轴R轴为reduce计算轴。
• aLength：用于描述输入的A轴大小。支持的取值如下：
  • -1：默认值。取接口参数para中的aLength作为A轴大小。
  • 1：支持outputRstd数据非对齐搬出，支持inputMean，inputVariance数据非对齐搬入。aLength为其它取值时，不支持上述三个输入输出的非对齐搬入和非对齐搬出。该取值需要与接口参数para中的aLength数值一致。请注意，仅在Atlas 350 加速卡上支持该取值。
  • 其它值：该值需要与接口参数para中的aLength数值一致。
• isNoBeta：计算时，输入beta是否使用。
  • false：默认值，Normalize计算中使用输入beta。
  • true：Normalize计算中不使用输入beta。此时，公式中与beta相关的计算被省略。
• isNoGamma：可选输入gamma是否使用。
  • false：默认值，Normalize计算中使用可选输入gamma。
  • true：Normalize计算中不使用输入gamma。此时，公式中与gamma相关的计算被省略。
• isOnlyOutput：是否只输出y，不输出标准差的倒数rstd。当前该参数仅支持取值为false，表示y和rstd的结果全部输出。

output

输出

目的操作数，shape为[A, R]，LocalTensor数据结构的定义请参考LocalTensor。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

outputRstd

输出

标准差的倒数，shape为[A]，LocalTensor数据结构的定义请参考LocalTensor。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

inputMean

输入

均值，shape为[A]，LocalTensor数据结构的定义请参考LocalTensor。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

inputVariance

输入

方差，shape为[A]，LocalTensor数据结构的定义请参考LocalTensor。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

inputX

输入

源操作数，shape为[A, R]，LocalTensor数据结构的定义请参考LocalTensor。inputX的数据类型需要与目的操作数保持一致，尾轴长度需要32B对齐。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

gamma

输入

缩放系数，shape为[R]，LocalTensor数据结构的定义请参考LocalTensor。gamma的数据类型精度不低于源操作数的数据类型精度。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

beta

输入

平移系数，shape为[R]，LocalTensor数据结构的定义请参考LocalTensor。beta的数据类型精度不低于源操作数的数据类型精度。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

sharedTmpBuffer

输入

共享缓冲区，用于存放API内部计算产生的临时数据。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。共享缓冲区大小的获取方式请参考Normalize Tiling。

类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。

epsilon

输入

防除零的权重系数。

para

输入

Normalize计算所需的参数信息。NormalizePara类型，定义如下。

1
2
3
4
5

struct NormalizePara {
    uint32_t aLength;
    uint32_t rLength;
    uint32_t rLengthWithPadding;
};

• aLength：指定输入inputX的A轴长度。
• rLength：指定输入inputX的R轴长度。
• rLengthWithPadding：指定输入inputX的R轴对齐后的长度，该值是32B对齐的。