---
title: 基础功能
description: "当参数maskType、batchRunStatusEnable、quantType、calcType、compressType、scaleType均为默认值时，使用PagedAttention的基础功能，此时输入输出参数如下："
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0202.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0202.html
indexId: 5b2518181fb43fa20759d797d438bd529385915782dd19461d4a61321994758f64
---
# 基础功能

当参数maskType、batchRunStatusEnable、quantType、calcType、compressType、scaleType均为默认值时，使用PagedAttention的基础功能，此时输入输出参数如下：

| 参数 | 维度 | 数据类型 | 格式 | cpu or npu | 描述 |
| --- | --- | --- | --- | --- | --- |
| query | [num\_tokens, num\_head, head\_size] | float16/bf16 | ND | npu | 各batch的query在num\_tokens轴合并。 |
| keyCache | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 ：[num\_blocks, block\_size, kv\_head\_num, head\_size\_k]; Atlas 推理系列产品 ：[num\_blocks, head\_size \*num\_heads / 16 ,block\_size, 16] | float16/bf16 | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 ：ND Atlas 推理系列产品 ：NZ | npu | cache好的key。 |
| valueCache | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 ：[num\_blocks, block\_size, kv\_head\_num, head\_size\_v]; Atlas 推理系列产品 ：[num\_blocks, head\_size \*num\_heads / 16 ,block\_size, 16] | float16/bf16 | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 ：ND Atlas 推理系列产品 ：NZ | npu | cache好的value。 |
| blockTables | [num\_tokens, max\_num\_blocks\_per\_query] | int32 | ND | npu | 每个query的kvcache的block table，第一维是token索引，第二维表示block索引。 |
| contextLens | [batch] | int32 | ND | cpu | 每个query对应的key/value的token数量。 |
| attnOut | [num\_tokens, num\_head, head\_size\_v] | float16/bf16 | ND | npu | 经过计算输出的query。 |