昇腾社区首页
中文
注册

kv-bypass

功能说明

在某些场景下,用户想自行管理kvCache的过程,不想使用加速库做把kv刷新到kvCache的动作。

开启方式

参数“kvCacheCfg”置为K_BYPASS_V_BYPASS。同时输入tensor不传k、v。

约束说明

此功能只有“calcType”为非PA_ENCODER、非PREFIX_ENCODER时生效。