kv-bypass

功能

在某些场景下，客户想自行管理kvCache的过程，不想使用加速库做把kv刷新到kvCache的动作。

开启方式

参数“kvCacheCfg”置为K_BYPASS_V_BYPASS。同时输入tensor不传k、v。

特殊约束

此功能只有“calcType”为非PA_ENCODER、非PREFIX_ENCODER时生效。

父主题： 功能列表