---
title: 不开启多头压缩功能
description: "compressType=COMPRESS_TYPE_UNDEFINED"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0240.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0240.html
indexId: 883967434959dc331576832a1558899de9c6877498efb3e443cf1d286282f4a964
---
# 不开启多头压缩功能

compressType=COMPRESS_TYPE_UNDEFINED

#### 输入

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| key | [num\_tokens, num\_head, k\_head\_size] | float16/bf16 | ND | 当前step多个token的key，不开启多头压缩功能时支持key和value最后一维不同。 |
| value | [num\_tokens, num\_head, v\_head\_size] | float16/bf16 | ND | 当前step多个token的value，不开启多头压缩功能时支持key和value最后一维不同。 |
| keyCache | [num\_blocks, block\_size, num\_head, k\_head\_size] | float16/bf16 | ND | 当前layer的key cache，不开启多头压缩功能时支持keyCache和valueCache最后一维不同。 |
| valueCache | [num\_blocks, block\_size, num\_head, v\_head\_size] | float16/bf16 | ND | 当前layer的value cache，不开启多头压缩功能时支持keyCache和valueCache最后一维不同。 |
| slotMapping | [num\_tokens] | int32 | ND | 每个token key或value在cache中的存储偏移，即（block\_id \* block\_size + offset\_in\_block），值域范围为(INT32\_MIN, num\_blocks \* block\_size)且不存在重复数值。取值为负数时不进行任何搬运操作。 |
| kStrides | [3] | int64 | ND | k tensor 步幅。kStrides最后一个元素等于1。默认NULL，跳转到k tensor的下一个元素的各个维度的步幅。维度数与key相同。 |
| vStrides | [3] | int64 | ND | v tensor 步幅。vStrides最后一个元素等于1。默认NULL，跳转到v tensor的下一个元素的各个维度的步幅。维度数与value相同。 |
| kOffset | [1] | int64 | ND | 默认0，k tensor相对于内存首地址的偏移。 |
| vOffset | [1] | int64 | ND | 默认0，v tensor相对于内存首地址的偏移。 |


#### 输出

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| keyCacheOut | [num\_blocks, block\_size, num\_head, k\_head\_size] | float16/bf16 | ND | 所有的key cache。与输入keyCache为同一地址。 |
| valueCacheOut | [num\_blocks, block\_size, num\_head, v\_head\_size] | float16/bf16 | ND | 所有的value cache。与输入valueCache为同一地址。 |