---
title: 功能列表
description: "- 非量化"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0252.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0252.html
indexId: 6c2b762a7335db3ab2424a5947524f6fd300a83fb19b9e1d1b002ff8b8dc58d064
---
# 功能列表

#### RmsNorm

- 非量化

  - 训练rmsnormforward算子，设置rstd为true开启。
  - precisionMode默认HIGH_PRECISION_MODE，中间计算使用float类型。HIGH_PERFORMANCE_MODE，在最后做gamma（weight）的乘法计算的时候使用float16类型。
  - modelType默认LLAMA_MODEL，使用llama模型的rmsnorm公式。GEMMA_MODEL，使用gemma模型的rmsnorm公式。区别在乘gamma（weight）前，会将gamma+1再做乘法。
- 量化

  - rmsnorm量化。
  - dynamicQuantType默认值DYNAMIC_QUANT_UNDEFINED（普通量化）DYNAMIC_QUANT_SYMMETRIC 动态对称量化。


#### add+RmsNorm融合（PreNorm，PostNorm）在做rmsnorm前，将x和residual相加

- 非量化

  - PreNorm返回add+residual的结果，PostNorm不返回
  - hasBias参数。为true时，可以输入bias tensor。为false时，不输入bias tensor。
- 量化
  只有Prenorm支持。