---
title: 开启单入单出功能
description: "kvCacheCfg=K_CACHE_V_BYPASS，compressType=COMPRESS_TYPE_UNDEFINED"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0229.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0229.html
indexId: 2542ce520848e688786646534d344e0a45f00ca3a59d0ba9fe09213574e9a36564
---
# 开启单入单出功能

kvCacheCfg=K_CACHE_V_BYPASS，compressType=COMPRESS_TYPE_UNDEFINED

#### 输入

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| key | [num\_tokens, k\_num\_head, k\_head\_size] | float16/bf16/int8 | ND | 当前step多个token的key。 |
| keyCache | [num\_blocks, block\_size, k\_num\_head, k\_head\_size] | float16/bf16/int8 | ND | 当前layer的key cache。 |
| slotMapping | [num\_tokens] | int32 | ND | 每个token key在cache中的存储偏移，即（block\_id \* block\_size + offset\_in\_block），值域范围为(INT32\_MIN, num\_blocks \* block\_size)且不存在重复数值。取值为负数时不进行任何搬运操作。 |


#### 输出

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| keyCacheOut | [num\_blocks, block\_size, k\_num\_head, k\_head\_size] | float16/bf16/int8 | ND | 所有的key cache。与输入keyCache为同一地址。 |