kv-bypass

功能说明

在某些场景下，用户想自行管理kvCache的过程，不想使用加速库做把kv刷新到kvCache的动作。

开启方式

参数“kvCacheCfg”置为K_BYPASS_V_BYPASS。同时输入tensor不传k、v。

约束说明

此功能只有“calcType”为非PA_ENCODER、非PREFIX_ENCODER时生效。

父主题： 功能列表