功能描述

RMSNorm是一种归一化方法，它通过对数据的root mean square（RMS）进行归一化，避免了均值的使用。RMSNorm通过对数据的均值和方差进行调整，旨在优化深度学习模型的性能。RMSNorm不仅可以简化计算，还可以提高模型的收敛速度和稳定性。

当前支持Norm，PreNorm，PostNorm三种归一化操作。