swap_cache接口

接口功能

NPU和CPU的KV Cache换入换出接口。（属于内部调度接口，暂不支持对外功能。）

接口实现

1
2
3
def swap_cache(self, swap_decision):
        swap_decision_tensor = torch.tensor(swap_decision, dtype=torch.int64, device=self.device)
        self.cache_pool.swap_cache(swap_decision_tensor)

参数说明

参数名称

是否必选

类型

默认值

描述

swap_decision

是

ndarray

-

换入换出的block的index以及切换方向。
父主题： generator_torch.py提供Python接口