swap_cache接口
接口功能
NPU和CPU的KV Cache换入换出接口。（属于内部调度接口，暂不支持对外功能。）
接口实现
1 2 3 | def swap_cache(self, swap_decision): swap_decision_tensor = torch.tensor(swap_decision, dtype=torch.int64, device=self.device) self.cache_pool.swap_cache(swap_decision_tensor) |
参数说明
参数名称 |
是否必选 |
类型 |
默认值 |
描述 |
|---|---|---|---|---|
swap_decision |
是 |
ndarray |
- |
换入换出的block的index以及切换方向。 |