CohereLayerNormOperation

功能

一种归一化方法，可以将网络层输入根据-1维归一化到[0, 1]之间。

定义

1
2
3
4

struct CohereLayerNormParam {
    float epsilon = 1e-5;
    uint8_t rsv[32] = {0};
};

参数列表

Command R Plus模型归一化功能

• 功能描述

  针对Command R Plus模型，对多batch数据用于表示根据最后一维进行归一化操作。

• 计算公式

  

  E[, -1]和Var[, -1]分别为最后一维的均值和方差，为epsilon，为权重。

• 硬件支持情况

  硬件型号	支持情况
  Atlas 800I A2 推理产品/Atlas A2 训练系列产品	支持float16、bf16
  Atlas A3 推理系列产品/Atlas A3 训练系列产品	支持float16、bf16

• 输入

  参数	维度	数据类型	格式	描述
  x	[dim_0, dim_1, ..., dim_n]	float16/bf16	ND	最后一维的大小要32字节对齐。 维度只能为3或4。
  gamma	[dim_n-1, dim_n]	float16/bf16	ND	最后一维的大小要32字节对齐。 维度只能为2。 x和gamma最后两维的维度数一致。

• 输出

  参数	维度	数据类型	格式	描述
  result	[dim_0, dim_1, ..., dim_n]	float16/bf16	ND	x、result和gamma的数据格式一致。