def __init__
函数功能
类初始化函数。
函数原型
def __init__(self, hidden_size, eps=1e-6):
参数说明
参数名 |
输入/输出 |
类型 |
说明 |
|---|---|---|---|
hidden_size |
输入 |
torch.Tensor |
输入张量的最后一维大小（即隐藏层的维度）。用于初始化归一化权重参数weight的形状。 |
eps |
输入 |
float |
一个小的常数，用于防止除零错误。默认值为1e-6。 |
返回值说明
无
父主题： class RMSNorm