---
title: 开启支持输入转NZ格式功能
description: "kvCacheCfg=K_CACHE_V_CACHE_NZ，compressType=COMPRESS_TYPE_UNDEFINED"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0230.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0230.html
indexId: 9e613139ee65182f6030077d9c04bdd01e28c0eaff6eb2e313bc89cfa03e07bf64
---
# 开启支持输入转NZ格式功能

kvCacheCfg=K_CACHE_V_CACHE_NZ，compressType=COMPRESS_TYPE_UNDEFINED

#### 输入

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| key | [num\_tokens, num\_head, k\_head\_size] | int8/float16/bf16 | ND | k\_head\_size\*sizeof(dtype\_k)满足32字节对齐，同时小于98304。 |
| value | [num\_tokens, num\_head, v\_head\_size] | float16/bf16 | ND | v\_head\_size\*sizeof(dtype\_v)满足32字节对齐，同时小于98304。 key支持int8时，value可以是float16或者bf16。 |
| keyCache | [num\_blocks, num\_head\*k\_head\_size // last\_dim\_k, block\_size, last\_dim\_k] | int8/float16/bf16 | NZ | 当数据类型为int8时，last\_dim\_k为32。 当数据类型是float16/bf16时，last\_dim\_k为16。 数据类型与key保持一致。 block\_size需要16对齐。 |
| valueCache | [num\_blocks, num\_head\*v\_head\_size // last\_dim\_v, block\_size, last\_dim\_v] | float16/bf16 | NZ | last\_dim\_v只能是16。 数据类型与value保持一致。 block\_size需要16对齐。 |
| slotMapping | [num\_tokens] | int32 | ND | last\_dim\_v只能是16。 值域范围为(INT32\_MIN, num\_blocks \* block\_size)且不存在重复数值。 取值为负数时不进行任何搬运操作。 |


#### 输出

| 参数 | 维度 | 数据类型 | 格式 | 描述 |
| --- | --- | --- | --- | --- |
| keyCacheOut | [num\_blocks, num\_head\*k\_head\_size // last\_dim\_k, block\_size, last\_dim\_k] | int8/float16/bf16 | NZ | 当数据类型为int8时，last\_dim\_k为32，当数据类型是float16/bf16时，last\_dim\_k为16。 |
| valueCacheOut | [num\_blocks, num\_head\*k\_head\_size // last\_dim\_v, block\_size, last\_dim\_v] | float16/bf16 | NZ | last\_dim\_v只能是16。 |