功能列表

• 训练rmsnormforward算子，设置rstd为true开启。
• precisionMode默认HIGH_PRECISION_MODE，中间计算使用float类型。HIGH_PERFORMANCE_MODE，在最后做gamma（weight）的乘法计算的时候使用float16类型。
• modelType默认LLAMA_MODEL，使用llama模型的rmsnorm公式。GEMMA_MODEL，使用gemma模型的rmsnorm公式。区别在乘gamma（weight）前，会将gamma+1再做乘法。

• rmsnorm量化。
• dynamicQuantType默认值DYNAMIC_QUANT_UNDEFINED（普通量化）DYNAMIC_QUANT_SYMMETRIC 动态对称量化。

• PreNorm返回add+residual的结果，PostNorm不返回
• hasBias参数。为true时，可以输入bias tensor。为false时，不输入bias tensor。

只有Prenorm支持。