类说明

RMSNorm（Root Mean Square Normalization，均方根归一化）是一种归一化方法，与LayerNorm类似，但它不计算输入张量的均值，而是直接基于输入张量的平方均值（Root Mean Square, RMS）进行归一化操作。这种方法在某些深度学习模型中（如：T5）被广泛使用，因为它可以减少计算复杂度并提升性能。该模块的主要功能是对输入张量hidden_states进行归一化，并通过可学习的权重参数weight对归一化后的结果进行缩放。该函数在MindIE SD仓的路径为：mindiesd/layers/norm.py，其具体使用方法请参见Norm。