参数列表

compressType

CompressType

COMPRESS_TYPE_UNDEFINED

COMPRESS_TYPE_UNDEFINED：0

是

压缩类型。

• COMPRESS_TYPE_UNDEFINED：默认值，不压缩。
• COMPRESS_TYPE_KVHEAD：alibi场景下压缩key_cache，value_cahe的kvHead维度。
• COMPRESS_TYPE_KVHEAD_ROPE：rope场景下压缩key_cache, value_cahe的kvHead维度。

kvCacheCfg

KvCacheCfg

K_CACHE_V_CACHE

• K_CACHE_V_CACHE：0
• K_CACHE_V_BYPASS：1

是

KvCache配置。

• K_CACHE_V_CACHE：默认值，传入key_cache和value_cache。
• K_CACHE_V_BYPASS：只传入key_cache。

rsv[16]

uint8_t

{0}

[0]

否

预留参数。