---
title: 不开启多头压缩功能
description: "compressType=COMPRESS_TYPE_UNDEFINED, kvCacheCfg=K_CACHE_V_CACHE"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0226.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0226.html
indexId: 164d42aa2b2c6ea352f78fd08555b57017c2228fc9f9d6a33daee7e9750fbd3464
---
# 不开启多头压缩功能

compressType=COMPRESS_TYPE_UNDEFINED, kvCacheCfg=K_CACHE_V_CACHE

#### 输入

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| key | [num\_tokens, num\_head, k\_head\_size] | float16/bf16/int8 | ND | 当前step多个token的key，不开启多头压缩功能时支持key和value最后一维不同。 |
| value | [num\_tokens, num\_head, v\_head\_size] | float16/bf16/int8 | ND | 当前step多个token的value，不开启多头压缩功能时支持key和value最后一维不同。 |
| keyCache | [num\_blocks, block\_size, num\_head, k\_head\_size] | float16/bf16/int8 | ND/NZ | 当前layer的key cache，不开启多头压缩功能时支持keyCache和valueCache最后一维不同。 |
| valueCache | [num\_blocks, block\_size, num\_head, v\_head\_size] | float16/bf16/int8 | ND/NZ | 当前layer的value cache，不开启多头压缩功能时支持keyCache和valueCache最后一维不同。 |
| slotMapping | [num\_tokens] | int32 | ND | 每个token key或value在cache中的存储偏移，即（block\_id \* block\_size + offset\_in\_block），值域范围为(INT32\_MIN, num\_blocks \* block\_size)且不存在重复数值。取值为负数时不进行任何搬运操作。 |


- 若需要在Atlas A2 训练系列产品 / Atlas A2 推理系列产品上使用NZ格式，请参见  开启支持输入转NZ格式功能
。
- Atlas A2 训练系列产品 / Atlas A2 推理系列产品、Atlas 350 加速卡：keyCache和valueCache只支持ND格式。
- Atlas 推理系列产品：keyCache和valueCache只支持NZ格式，此时其它约束请参见  约束说明
。


#### 输出

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| keyCacheOut | [num\_blocks, block\_size, num\_head, k\_head\_size] | float16/bf16/int8 | ND/NZ | 所有的key cache。与输入keyCache为同一地址。 |
| valueCacheOut | [num\_blocks, block\_size, num\_head, v\_head\_size] | float16/bf16/int8 | ND/NZ | 所有的value cache。与输入valueCache为同一地址。 |