---
title: 输入输出
description: "| 参数 | 维度 | 数据类型 | 格式 | 描述 |"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0250.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0250.html
indexId: 326e67a03850239da8bc33553fc4cc951cecf551330d18710219ec82c88278e564
---
# 输入输出

#### RMS_NORM_NORM


| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16/float/bf16 | ND | float数据类型仅在rstd为true时支持，且rstd为true时只能使用float数据类型。 所有Tensor最后一维的dim\_n大小需保持一致，其他维度的大小没有约束。 最后一维的大小需进行32字节对齐。 |
| gamma | [1, ..., dim\_n] / [dim\_i, ..., dim\_n] (0 <= i <= n) | float16/float/bf16 | ND | 最后一维的大小需进行32字节对齐。 normParam.rstd为true时，维度数需要大于0，并小于x的维度数，gamma的维度从最后一维向前，每一维都需要和x保持一致。 rstd为false时，维度为[dim\_n]。 数据类型与x保持一致。 dim\_n前可以有任意个1。 |
| beta | [1, ..., dim\_n] | float16/float/bf16 | ND | quantType = INT8时输入。 最后一维的大小要32字节对齐。 数据类型与x保持一致。 dim\_n前可以有任意个1。 维度需要和gamma保持一致。 |
| scale | [1] | float16/bf16 | ND | 当quantType为QUANT\_INT8时才输入。数据类型与x保持一致。 |
| offset | [1] | int8 | ND | 当quantType为QUANT\_INT8时才输入。 |
| output | [dim\_0, dim\_1, ... ，dim\_n] | float16/float/int8/bf16 | ND | quantType=INT8时输出int8。 |
| rstd | [dim\_0, ... ,1] | float16/float/bf16 | ND | normParam.rstd为true时输出。第i维大于等于x的维度数减去gamma的维度数时，大小为1，否则和x中对应维度大小相等。样例请参见参数“rstd”为“true”时使用场景。 |
| 除scale、offset和rstd参数外，其余tensor最后一维的n大小需保持一致。 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 | 除scale、offset和rstd参数外，其余tensor最后一维的n大小需保持一致。 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 | 除scale、offset和rstd参数外，其余tensor最后一维的n大小需保持一致。 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 | 除scale、offset和rstd参数外，其余tensor最后一维的n大小需保持一致。 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 | 除scale、offset和rstd参数外，其余tensor最后一维的n大小需保持一致。 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 |


#### RMS_NORM_NORM DYNAMIC_QUANT

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16 | ND | 最后一维n的大小要32字节对齐，且小于等于12288。 |
| gamma | [dim\_n] | float16 | ND | 最后一维n的大小要32字节对齐，且小于等于12288。 |
| beta | [dim\_n] | float16 | ND | 最后一维n的大小要32字节对齐，且小于等于12288。 |
| output | [dim\_0, dim\_1, ..., dim\_n] | int8 | ND | 最后一维n的大小要32字节对齐，且小于等于12288。 |
| scale | [dim\_0, dim\_1, ..., dim\_n\-1] | float | ND | 当quantType == QUANT\_INT8且dynamicQuantType != DYNAMIC\_QUANT\_UNDEFINED时输出。 |
| offset | [dim\_0, dim\_1, ..., dim\_n\-1] | float | ND | 当quantType == QUANT\_INT8且dynamicQuantType == DYNAMIC\_QUANT\_ASYMMETRIC时输出。 当前版本暂不支持。 |
| 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 仅当quantType=INT8时，dynamicQuantType设置才会生效。 | 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 仅当quantType=INT8时，dynamicQuantType设置才会生效。 | 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 仅当quantType=INT8时，dynamicQuantType设置才会生效。 | 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 仅当quantType=INT8时，dynamicQuantType设置才会生效。 | 当quantType=INT8时，除scale、offset和rstd参数外，其余tensor最后一维的n大小须为32的倍数。 仅当quantType=INT8时，dynamicQuantType设置才会生效。 |


#### RMS_NORM_PRENORM quantType = QUANT_UNQUANT


| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 最后一维的大小要32字节对齐。 |
| beta | [1, ..., dim\_n] | float16/bf16 | ND | 当hasBias为True时输入。 最后一维的大小要32字节对齐。 dim\_n前可以有任意个1。 |
| residual | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 最后一维的大小要32字节对齐。 |
| gamma | [1, ..., dim\_n] | float16/bf16 | ND | 最后一维的大小要32字节对齐。 dim\_n前可以有任意个1。 维度需要与beta保持一致。 |
| output | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输出tensor，维度数和各维度值与x一致。 |
| resOut | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输出tensor，维度数和各维度值与x一致。 |
| 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 |


#### RMS_NORM_PRENORM quantType = QUANT_INT8


| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16 | ND | 最后一维的大小须为32的倍数。 |
| residual | [dim\_0, dim\_1, ..., dim\_n] | float16 | ND | 最后一维的大小须为32的倍数。 |
| gamma | [1, ..., dim\_n] | float16 | ND | 最后一维的大小须为32的倍数。 dim\_n前可以有任意个1。 |
| beta | [1, ..., dim\_n] | float16 | ND | 最后一维的大小须为32的倍数。 dim\_n前可以有任意个1。 维度需要与gamma保持一致。 |
| scale | [1] | float16 | ND | 量化scale参数。 |
| offset | [1] | int8 | ND | 量化offset参数。 |
| outputQuant | [dim\_0, dim\_1, ..., dim\_n] | int8 | ND | 输出tensor，维度数和各维度值与x一致。 |
| output | [dim\_0, dim\_1, ..., dim\_n] | float16 | ND | 输出tensor，维度数和各维度值与x一致。 |
| 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 |


#### RMS_NORM_POSTNORM quantType = QUANT_UNQUANT


| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 当前支持quantType = QUANT\_UNQUANT。 最后一维的大小要32字节对齐。 |
| beta | [1, ..., dim\_n] | float16/bf16 | ND | 当hasBias为True时输入。 最后一维的大小要32字节对齐。 dim\_n前可以有任意个1。 |
| residual | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 最后一维的大小要32字节对齐。 |
| gamma | [1, ..., dim\_n] | float16/bf16 | ND | 最后一维的大小要32字节对齐。 dim\_n前可以有任意个1。 维度需要与beta保持一致。 |
| output | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输出tensor，维度数和各维度值与x一致。 |
| 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 | 所有tensor最后一维的n大小需保持一致。 |


#### RMS_NORM_POSTNORM quantType = QUANT_INT8

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| x | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输入tensor0，最后一维的大小须为32的倍数。所有Tensor最后一维的n大小需保持一致。 |
| residual | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输入tensor1，最后一维的大小须为32的倍数。 |
| gamma | [dim\_n]/[1, dim\_n] | float16/bf16 | ND | 输入tensor2，最后一维的大小须为32的倍数。 |
| scale | [1] | float16/bf16 | ND | 输入tensor3，量化scale参数。 |
| offset | [1] | int8 | ND | 输入tensor4，量化offset参数。 |
| outputQuant | [dim\_0, dim\_1, ..., dim\_n] | int8 | ND | 输出tensor0，维度数和各维度值与x一致。最后一维的大小须为32的倍数。 |
| output | [dim\_0, dim\_1, ..., dim\_n] | float16/bf16 | ND | 输出tensor1，维度数和各维度值与x一致。最后一维的大小须为32的倍数。 |
| 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 | 除scale和offset参数外，其余tensor最后一维的n大小需保持一致。 |