计算公式

RmsNorm

$\text{[math]}$

beta在rmsnorm quant量化场景下会使用。

add+RmsNorm(PreNorm, PostNorm)

$\text{[math]}$

$\text{[math]}$

其中gamma为可训练参数，epsilon是一个取值范围为(0, 1]的浮点值，用于避免除零。

量化

$\text{[math]}$

父主题： RmsNormOperation（代码开放）