---
title: 参数列表
description: "| 成员名称 | 描述 |"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0249.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0249.html
indexId: 638e0fc977da445e674d44826ae40a8bcb2e7908165814399c55be2b48e6a0da64
---
# 参数列表

| 成员名称 | 描述 |
| --- | --- |
| RmsNormParam | RMSNORM参数。 RMS\_NORM\_UNDEFINED：默认值，未定义。此默认类型不可用，用户须配置此项参数。 RMS\_NORM\_NORM：NORM参数。 RMS\_NORM\_PRENORM：PRENORM参数。 RMS\_NORM\_POSTNORM：POSTNORM参数。 |
| PrecisionMode | PRECISIONMODE参数。 HIGH\_PRECISION\_MODE：默认值，中间计算使用float类型。 HIGH\_PERFORMANCE\_MODE：中间计算使用float16类型。 |
| ModelType | MODELTYPE参数。 LLAMA\_MODEL：默认值，使用Llama rmsnorm的公式。 GEMMA\_MODEL：使用Gemma rmsnorm的公式。 |
| layerType | 归一化类型，参数如下： RMS\_NORM\_UNDEFINED：默认值，未定义。 RMS\_NORM\_NORM：NORM参数。 RMS\_NORM\_PRENORM：PRENORM参数。 RMS\_NORM\_POSTNORM：POSTNORM参数。 |
| normParam | NORM参数。具体请参见表1。 |
| preNormParam | PRENORM参数。具体请参见表2。 |
| postNormParam | POSTNORM参数。具体请参见表3。 |
| rsv[8] | 预留参数。 |


**表1 NormParam成员**

| 参数 | 类型 | 默认值 | 描述 |
| --- | --- | --- | --- |
| quantType | QuantType | QUANT\_UNQUANT | 量化类型。 当前支持以下类型。 QUANT\_UNQUANT QUANT\_INT8 |
| epsilon | float | 1e\-5 | Epsilon，归一化时加在分母上防止除0。 |
| layerNormEps | float | 1e\-5 | Epsilon，暂时不使用。 |
| rstd | bool | false | 设置为true时会使用训练的rmsnormforward算子。 仅 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 支持该算子。 不支持和“precisionMode”，“modelType”同时设置。 量化场景下不支持使用“rstd”。 |
| precisionMode | PrecisionMode | HIGH\_PRECISION\_MODE | 支持参数如下： HIGH\_PRECISION\_MODE：默认值，中间计算使用float类型。 HIGH\_PERFORMANCE\_MODE：中间计算使用float16类型。 不支持和“rstd”，“modelType”同时设置。 输入类型只支持float16。 量化场景下不支持使用“precisionMode”，该场景下配置该参数将返回报错ERROR\_INVALID\_PARAM。 |
| modelType | ModelType | LLAMA\_MODEL | 设置为GEMMA\_MODEL时使用gemma模型的rmsnorm计算公式。 支持参数如下： LLAMA\_MODEL：默认值， Llama的rms norm计算公式。 GEMMA\_MODEL：Gemma的rms norm计算公式。 不支持和“rstd”、“precisionMode”同时启用。 量化场景下不支持使用“modelType”，该场景下配置该参数将返回报错ERROR\_INVALID\_PARAM。 |
| dynamicQuantType | DynamicQuantType | DYNAMIC\_QUANT\_UNDEFINED | 动态量化类型。默认为DYNAMIC\_QUANT\_UNDEFINED非动态量化。当前版本暂不支持非对称动态量化。 |
| rsv[32] | uint8\_t | {0} | 预留参数。 |


8.0.RC2及后续版本normParam不再支持quantInputScale、quantInputOffset量化参数。

Atlas 350 加速卡上仅支持QUANT_UNQUANT、支持配置epsilon、rstd仅支持配置为false、其余参数均不生效。


**表2 PreNormParam成员**

| 参数 | 类型 | 默认值 | 描述 |
| --- | --- | --- | --- |
| quantType | QuantType | QUANT\_UNQUANT | 量化类型。 当前支持以下类型。 QUANT\_UNQUANT QUANT\_INT8 |
| epsilon | float | 1e\-5 | Epsilon，归一化时加在分母上防止除0。 |
| hasBias | bool | false | 是否叠加偏置。当需要输入beta时设置为true。 量化场景下不支持使用hasBias，该场景下配置该参数将返回报错ERROR\_INVALID\_PARAM。 |
| rsv[23] | uint8\_t | {0} | 预留参数。 |


8.0.RC2及后续版本PreNormParam不再支持quantInputScale、quantInputOffset量化参数。

Atlas 350 加速卡上仅支持QUANT_UNQUANT、支持配置epsilon、hasBias仅支持配置为false。


**表3 PostNormParam成员**

| 参数 | 类型 | 默认值 | 描述 |
| --- | --- | --- | --- |
| quantType | QuantType | QUANT\_UNQUANT | 量化类型。 当前支持以下类型： QUANT\_UNQUANT。 QUANT\_INT8。 |
| epsilon | float | 1e\-5 | Epsilon，归一化时加在分母上防止除0。 |
| hasBias | bool | false | 是否叠加偏置。当需要输入beta时设置为true。 量化场景下不支持使用hasBias，该场景下配置该参数将返回报错ERROR\_INVALID\_PARAM。 |
| rsv[23] | uint8\_t | {0} | 预留参数。 |