在某些场景下,客户想自行管理kvCache的过程,不想使用加速库做把kv刷新到kvCache的动作。
参数“kvCacheCfg”置为K_BYPASS_V_BYPASS。同时输入tensor不传k、v。
此功能只有“calcType”为非PA_ENCODER、非PREFIX_ENCODER时生效。