update_cache_after_switch_pd_role接口

接口功能

更新NPU上的KV Cache。(属于内部调度接口,暂不支持对外功能。)

接口实现

1
2
def update_cache_after_switch_pd_role(self):
    self.cache_pool.allocate_npu_cache()