参数列表

compressType

CompressType

COMPRESS_TYPE_UNDEFINED

0，1，2

否

压缩类型。

• COMPRESS_TYPE_UNDEFINED：默认值，不压缩。
• COMPRESS_TYPE_KVHEAD：压缩key_cache, value_cache的kvHead维度。
• COMPRESS_TYPE_KVHEAD_ROPE：rope场景下压缩key_cache，value_cache的kvHead维度。

kvCacheCfg

KvCacheCfg

K_CACHE_V_CACHE

0，1，2

否

KvCache配置。

• K_CACHE_V_CACHE：默认值，传入key_cache和value_cache。
• K_CACHE_V_BYPASS：只传入key_cache。
• K_CACHE_V_CACHE_NZ：传入key_cache和value_cache，且为NZ格式。

rsv[16]

uint8_t

{0}

[0]

否

预留参数。