kv-bypass 功能说明在某些场景下,用户想自行管理kvCache的过程,不想使用加速库做把kv刷新到kvCache的动作。 开启方式参数“kvCacheCfg”置为K_BYPASS_V_BYPASS。同时输入tensor不传k、v。 约束说明此功能只有“calcType”为非PA_ENCODER、非PREFIX_ENCODER时生效。 父主题: 功能列表