计算公式

RmsNorm

beta在rmsnorm quant量化场景下会使用。

add+RmsNorm(PreNorm, PostNorm)

其中gamma为可训练参数，epsilon是一个取值范围为(0, 1]的浮点值，用于避免除零。

量化