---
title: MLA输入输出
description: "| 参数 | 维度 | 数据类型 | 格式 | cpu/npu | 描述 |"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0186.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0186.html
indexId: 4b4b53f79fd36fcd9a7522e60ffd640502b0e6cf5aa08ede8faeba7da68945a464
---
# MLA输入输出

| 参数 | 维度 | 数据类型 | 格式 | cpu/npu | 描述 |
| --- | --- | --- | --- | --- | --- |
| qNope | [tokenNum, headNum, 512] | float16/bf16/int8 | ND | NPU | 输入，无位置编码query。 cacheMode为2：int8。 |
| qRope | [tokenNum, headNum, 64] | float16/bf16 | ND | NPU | 输入，旋转位置编码query。 |
| ctKV | [blockNum, blockSize, kvHeadNum, 512] cacheMode为2： [blockNum, kvHeadNum\*512/32, blockSize, 32] cacheMode为3： [blockNum, kvHeadNum\*512/16, blockSize, 16] | float16/bf16/int8 | ND/NZ | NPU | 输入，无位置编码ctkv。 cacheMode为2：int8，NZ。 cacheMode为3：float16/bf16，NZ。 |
| kRope | [blockNum, blockSize, kvHeadNum, 64] cacheMode为2或3： [blockNum, kvHeadNum\*64 / 16 ,blockSize, 16] | float16/bf16 | ND/NZ | NPU | 输入，旋转位置编码k。 cacheMode为2或3：NZ。 |
| block\_tables | [batch, maxBlockNumPerQuery] | int32 | ND | NPU | 输入，每个query的kvcache的block映射表。 |
| kvSeqlen | [batch] | int32 | ND | CPU | 输入，每个query对应的上下文长度，kvseqlen。 |
| mask | MASK\_TYPE\_SPEC: [tokenNum(合轴), maxSeqLen] MASK\_TYPE\_MASK\_FREE: [125 + 2 \* qSeqLen, 128] [batch, 125 + 2 \* qSeqLen, 128] | float16/bf16 | ND | NPU | 输入，注意力掩码，maskType不为0时传入。 |
| qseqlen | [batch] | int32 | ND | CPU | 输入，calcType为1时传入，每个batch对应的seqLen，取值范围为[1,4]。 |
| qkDescale | [headNum] | float | ND | NPU | 输入，cacheMode为2时传入。 |
| pvDescale | [headNum] | float | ND | NPU | 输入，cacheMode为2时传入。 |
| maskUseStatus | [batch] | int32 | ND | CPU | Spec叠加Ring下MTP1场景可以使用，即calcType为3时传入，标记每个mask是否会被使用。 开启方式： maskUseStatus = MASK\_USE\_STATUS\_TYPE\_BATCH\_MASK 内部填充值： 1：使用mask。 0：不使用mask。 MTP1：即qseqlen[i] 为 2的情况。 |
| attenOut | [tokenNum, headNum, 512] | float16/bf16 | ND | NPU | attention输出。 |
| Ise | [tokenNum, headNum, 1] | float16/bf16/float | ND | NPU | Ise输出。 当calcType为CALC\_TYPE\_RING和CALC\_TYPE\_SPEC\_AND\_RING时需要此tensor。 当calcType为CALC\_TYPE\_RING时，只支持MaskType为UNDEFINED。 当calcType为CALC\_TYPE\_SPEC\_AND\_RING时 支持MaskType为MASK\_TYPE\_SPEC，cacheMode为KROPE\_CTKV场景。 支持MaskType为UNDEFINED，cacheMode为INT8\_NZCACHE场景。 cacheMode=INT8\_NZCACHE时，dtype等于float。 |